DeepSeek R1 推理模型通过LM Studio实现LLM本地部署

下载安装LM Studio

官网地址: https://lmstudio.ai/
如图,下载完成直接下一步下一步安装即可.

下载DeepSeek R1模型

使用Huggingface可能需要梯|子 如果没有的话可能需要大家手动从镜像站hf-mirror下载模型，然后复制到LM Studio的模型文件夹里，支持任何模型包括并不限于DeepSeek的模型。
HF-Mirror官网地址: https://hf-mirror.com/

1. 进入网站在顶部搜索deepseek r1 gguf回车, gguf为LM Studio可使用的格式, 如图:
   

2. 搜索结果如图, 在搜索到的模型中选择适合电脑配置的模型
   

   【模型选择】
   没有GPU：1.5B Q8推理 或者 8B Q4推理
   4G GPU：8B Q4推理
   8G GPU：32B Q4推理 或者 8BQ4推理
   16G GPU：32B Q4推理 或者 32B Q8推理
   24G GPU: 32B Q8推理 或者 70B Q2推理
   Qwen底模除了1.5B其他不建议，Llama底模推荐。

3. 点击模型进入页面下载,如图,
   

在LM Studio中配置模型

1. LM Studio设置中文, 如图:
   
2. 模型路径更改, 如图, 默认为C:\Users\Administrator\.lmstudio\models
   
3. 在配置的路径目录下新建两层文件夹,名称随意, 再将模型复制到最里层文件夹, 如图:
   
4. 上述模型复制完成之后, LM Studio中就会显示出模型, 如图:
   
5. 模型导入完成之后, 设置模型, 如图:
   
   点击一个模型进行配置
   
   如果没有GPU, 就把CPU拉满, 配置完成后点击"加载模型", 如图:
   
6. 至此,本地部署完成,可以进行AI对话了.

相关文章推荐

VS Code + Cline + DeepSeek 实现AI编程