AI
关注
分享
扫一扫
文章平均质量分 85
小禾家的
越来越好啊--
展开
-
HuggingFace 模型转换为 GGUF/GGML
环境安装可参照Llama.cpp是在 CPU 和 GPU 上高效运行 LLM 的好方法。缺点但是，您需要将模型转换为 Llama.cpp 支持的格式，现在是 GGUF 文件格式。在这篇博文中，您将学习如何转换HuggingFace 模型 （Vicuna 13b v1.5） 到 GGUF 模型。原创 2025-03-06 20:43:55 · 1033 阅读 · 0 评论 -
.safetensors转换成.GGUF
看到红框标注时成功 对应文件夹内有llama-quantize.exe文件。我们量化成Q4_K_S。最后检查环境是否正确。原创 2025-03-06 19:23:03 · 660 阅读 · 0 评论