本地部署deepseek +ollama学习篇

本地部署deepseek +ollama学习篇

一、DeepSeek本地部署

**1、安装Ollama
**
首先我们需要安装Ollama，它可以在本地运行和管理大模型。 Ollama需要梯子，到Ollama官网 https://ollama.com，点击下载，然后选择适合自己系统的版本，这里选择Windows

引用这位大佬的：
https://deepseek.youkuaiyun.com/67ab1bb179aaf67875cb9528.html

2、部署 DeepSeek R1 模型
下载deepseek gguf格式文件
引用这位大佬的：
https://zhuanlan.zhihu.com/p/20619350390

3、将文件放在models中，手动加载本地模型
如果你已经下载了模型文件（例如 DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf），可以手动加载它。
步骤 1：创建 Modelfile
在模型文件所在的目录中创建一个 Modelfile 文件，内容如下：

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

步骤 2：加载模型
运行以下命令加载模型：

ollama create deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B-Q8_0 -f ./Modelfile

步骤 3：验证模型
运行以下命令检查模型是否已成功加载：

ollama list

如果模型显示在列表中，说明加载成功。