将后缀为GGUF 模型,运行在Ollama

1.新建modelfile文件

例如:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile

2.编辑modelfile文件

假如模型名字为:DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

3.gguf模型位置

DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf模型放在和上面创建modelfile目录夹下
在这里插入图片描述

4.打开cmd窗口

win键+R

5.输入命令

$ ollama create <你想要的模型名字> -f Modelfile

ollama create DeepSeek-R1-Distill-Qwen-1.5B-Q8_0 -f C:\**\Modelfile\DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.modelfile

6.出现success就证明成功

在这里插入图片描述

7.启动模型

ollama run DeepSeek-R1-Distill-Qwen-1.5B-Q8_0

在这里插入图片描述
参考地址:抓別人的 GGUF 模型,用 Ollama 在本機執行!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值