典型应用

2023-05-08
Update history
Date Version Author Update content
2023-05-08 v1.0 wonder
  • Release docs

llama.cpp

llama 是 META 开源的大语言模型，llama.cpp 是 ggerganov 开源的纯 cpp 运行的 llama 推理项目。
感谢 llama.cpp 这个优秀的项目，我们可以在 LicheePi 4A 上运行 LLM。

笔者在早些时候稍微修改了 llama.cpp https://github.com/Zepan/llama.cpp，使其可以在更小内存（低至 700MB 左右）运行 7B 模型。

可以看到 TH1520 花费约 6s 计算一个 token（未使用 V 扩展加速，V 扩展加速预计可加速 4～8 倍，如果你加入了 V 扩展支持，欢迎投稿！）
llama_th1520

同时还简单测试了下在入门级 C906 内核上运行7B模型的可行性，由于 D1 的内存过小，使用了 mmap 方式只读扩展，所以引入了大量低速 IO 操作，使得运行速度大为降低，最后仅 18s/token

llama_d1

Minecraft Server

TODO

Wine-CE

TODO

其它

欢迎投稿～ 投稿接受后可得￥5～150（$1~20）优惠券！