【deepseek本地部署】

不是谁只是我

已于 2025-02-16 15:57:24 修改

阅读量882

点赞数 22

CC 4.0 BY-SA版权

文章标签：语言模型

于 2025-02-16 15:25:58 首次发布

本文链接：https://blog.youkuaiyun.com/make_progress_go/article/details/145662365

大模型新手小白，如有错误请指出

步骤一，硬件准备

通过下面网站自测电脑硬件
在这里插入图片描述

步骤二，安装ollama

官网下载速度太感人了，没办法只能找到其他方法

先去ollama的github仓库：Releases · ollama/ollama · GitHub选择要下载的版本

点击要下载的版本号，之后往下拉，会看到OllamaSetup.exe，右键复制链接

在这里插入图片描述

2.下载迅雷

复制链接打开迅雷之后会显示让你下载刚刚复制的链接，如果没有该页面，就点击新建，然后
把链接复制进去，点击立即下载即可，速度在这三个中最快，几十秒就差不多了
在这里插入图片描述

验证是否安装成功
按win+R，输入cmd，之后就打开终端了，输入ollama -v，显示如下说明安装成功
更改Ollama加载model的位置，防止C盘爆满

输入环境变量
在这里插入图片描述

点击“环境变量”
在这里插入图片描述
点击新建

之后我们在C盘找到ollama的文件夹中的models，Ctrl+X剪切。（原来model的位置一般在C:\Users\用户名.ollama）
并替换到迁移磁盘E:/LLM的models。

之后WIN+R输入CMD打开命令提示符，输入ollama list并回车，看到这个就是迁移成功了。

步骤 3: 下载DeepSeek模型

在Ollama应用中选择合适的DeepSeek模型版本下载。根据你的硬件配置选择适当的模型大小（如7B、14B或32B）。
DeepSeek-R1-Distill-Qwen-1.5B：

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B：

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B：

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B：

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B：

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B：

ollama run deepseek-r1:70b

在这里插入图片描述
如图所示下载成功
可以直接输入你想问的问题
关闭后再次运行，重新输入ollama run xx模型名，会直接用之前下载好的那个

后续要进一步参考下面网址
进行webUI交互
由于官网速度下载较慢，所以我采用b站NathMath提供的链接
可选配的推荐模型
DeepSeek R1 8B + 32B 擅长数学推理 + 科研探索 + 逻辑推理
度盘：https://pan.baidu.com/s/1XM_s1uOc89A2Cll8Z6l2EQ?pwd=NATH 提取码：NATH
Phi4 擅长英文文本推理 + 数学推理(Phi3.5也值得推荐)
度盘：https://pan.baidu.com/s/1YWaQdfGjUeOEAFEWoeXHiQ?pwd=NATH 提取码：NATH
Gemma 9B 擅长通用文本推理 + 文学类文本写作
度盘：https://pan.baidu.com/s/1nCMAxr_BRyzzbWbNw_BxFA?pwd=NATH 提取码：NATH
上面的各种链接选择一个整体下载到一个文件夹就可以，然后把整个文件夹
DeepSeek-R1-Distill-Llama-8B-GGUF
和
DeepSeek-R1-Distill-Qwen-32B-GGUF
拷贝到E:/LLM/models/即可。