deepin linux UOS AI 使用 deepseek-r1 30B

黄鱼脑干细胞 (奇卡)

已于 2025-02-13 03:17:36 修改

阅读量309

点赞数 2

文章标签： ai 搭建环境

于 2025-02-13 03:15:27 首次发布

本文链接：https://blog.youkuaiyun.com/nn_84/article/details/145603024

版权

我们用 ollama 下载 deepseek-r1 3B 执行命令:

$ ollama pull models/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF

下载完成后我们就要重新更改目录和文件了

deepseek-r1/gguf (这是目录结构)

然后我把 gguf文件更名成 DeepSeek-R1.gguf (就是目录下最大的那个文件)

接着我创建 config.json

{
"verison":"0.1",
"architectures":["Qwen2ForCausalLM", "LLM"],
"bin":"DeepSeek-R1.gguf",
"license":["LICENSE"],
"templates":{"default":"template"},
"params":{"--ctx-size":"8192","--temp":"0.1"}
}

接着我们再创建 template

{% if exists("System") %}<|im_start|>system
{% if length(System) > 0 %}{{ System }}{% else %}You are a helpful assistant.{% endif %}<|im_end|>
{% endif%}{% if exists("Prompt") %}<|im_start|>user
{{ Prompt }}<|im_end|>
{% endif %}{% if exists("Tool") %}<|im_start|>tool
{{ Tool }}<|im_end|>
{% endif %}<|im_start|>assistant{% if exists("Response") %}
{{ Response }}<|im_end|>{% endif %}

这些文件都在deepseek-r1/gguf 这个目录下。

最后我把整个deepseek 移到 /home/用户名/.local/share/deepin-modelhub/models/

好了这样你打开 UOS AI 就可以尽情使用了我主要用于让ai写代码