ollama也支持导入运行量化后的GGUF模型，用法很简单：
创建一个名为Modelfile的文件，并在其中添加FROM指令，指定要导入的模型的本地文件路径。
FROM ./vicuna-33b.Q4_0.gguf在Ollama中创建模型
ollama create example -f Modelfile运行模型
ollama run example
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
