- 博客(3)
- 收藏
- 关注
RSS订阅转载 llama.cpp 编译和运行指南并支持CUDA
让llama.cpp最好的适配你的机器并支持CUDA，你需要确保你的系统安装了CUDA，并在编译过程中启用CUDA支持。
2024-07-18 23:04:54
1340
转载 如何编译 FastLLM 以适配 MT6895Z/TC SoC 的性能。
如何在 chroot 的 Debian 环境中设置和编译 FastLLM 以利用 MT6895Z/TC SoC 的性能。
2024-07-18 19:41:14
93
原创 手机上运行chatglm 6b
在 Android 设备上打开 Google Play 商店，搜索并安装 Termux 应用。从 Hugging Face 模型库下载 chatglm2 模型。转载自：https://hgf.icu/t/topic/42。模型在骁龙865上速度大约为4~5 token / s。搞完了之后你就可以跟模型 VAN 游戏了 😋。### 3. 下载和编译 fastllm。### 4. 编译 fastllm。### 7. 运行 fastllm。### 5. 用 make 编译。
2024-05-25 22:45:50
514
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人