典型应用

更新历史
日期 版本 作者 更新内容
2023-05-08 v1.0 wonder
  • Release docs

llama.cpp

llama 是 META 开源的大语言模型,llama.cpp 是 ggerganov 开源的纯 cpp 运行的 llama 推理项目。
感谢 llama.cpp 这个优秀的项目,我们可以在 LicheePi 4A 上运行 LLM。

笔者在早些时候稍微修改了 llama.cpp https://github.com/Zepan/llama.cpp,使其可以在更小内存(低至 700MB 左右)运行 7B 模型。

可以看到 TH1520 花费约 6s 计算一个 token(未使用 V 扩展加速,V 扩展加速预计可加速 4~8 倍,如果你加入了 V 扩展支持,欢迎投稿!)
llama_th1520

同时还简单测试了下在入门级 C906 内核上运行7B模型的可行性,由于 D1 的内存过小,使用了 mmap 方式只读扩展,所以引入了大量低速 IO 操作,使得运行速度大为降低,最后仅 18s/token

llama_d1

Minecraft Server

TODO

Wine-CE

TODO

其它

欢迎投稿~ 投稿接受后可得¥5~150($1~20)优惠券!