Win11系统本地部署DeepSeek-R1-Distill-Qwen-7B

夏天又到了

已于 2025-03-13 16:40:14 修改

阅读量417

点赞数 4

分类专栏： PyTorch深度学习算法与应用文章标签： DeepSeek

于 2025-03-06 09:14:22 首次发布

本文链接：https://blog.youkuaiyun.com/brucexia/article/details/146058727

版权

PyTorch深度学习算法与应用专栏收录该内容

120 篇文章

订阅专栏

《DeepSeek大模型高性能核心技术与多模态融合开发（人工智能技术丛书）》(王晓华)【摘要书评试读】- 京东图书

本实验是2.3节的补充内容。本实验利用ollama和Chatbox工具在本地部署DeepSeek模型，目的是使读者对本地运行DeepSeek有个感性认识。

（1）下载 ollama。本地操作系统为win11，首先浏览器访问ollama官网www.Ollama.com，按页面提示下载OllamaSetup.exe安装文件。

（2）安装ollama。双击下载下来的文件，按安装向导的引导把ollama缺省安装到系统盘上，比如我的默认安装目录为C:\Users\xiayu\AppData\Local\Programs\Ollama，安装向导会自动在系统的Path环境变量中加上这个安装目录。

安装成功后，在桌面右下角收起来的图标中能发现ollama正在运行。

当然，读者也可以把ollama自定义安装到别的目录中，比如安装到D:\Models\Ollama的命令为OllamaSetup.exe /DIR="D:\Models\Ollama"。安装完成后，在终端上运行一下ollama -v命令，如果能打印出版本号，说明Ollama已经安装成功。

（3）通过Ollama官网下载DeepSeek-R1模型，首先到Ollama官网确认一下需要下载的DeepSeek模型类型，https://ollama.com/library/deepseek-r1。

由于我的电脑N卡是3060、内存32G，尽量下一个参数量最小的模型，因此选定DeepSeek-R1-Distill-Qwen-1.5B，其下载命令为ollama pull deepseek-r1:1.5b或者ollama run deepseek-r1:1.5b。当然，读者可以根据自己电脑的配置情况，选择参数量更大的模型下载测试。

（4）在本地Win11系统打开管理员终端，输入命令ollama run deepseek-r1:1.5b，则会下载DeepSeek-R1-Distill-Qwen-1.5B模型。

（5）DeepSeek-R1-Distill-Qwen-1.5B模型下载成功后，这个模型就直接在本地系统上运行起来了，接下来我们就可以跟模型交互，下图是问模型“你是谁”的结果。

（6）这个终端交互起来还是有点不方便，我们可以通过WebUI工具Chatbox跟模型交互。到Chatbox官网https://chatboxai.app/下载Windows系统的Chatbox。

（7）下载下来的文件名Chatbox-1.10.2-Setup.exe，读者双击此安装文件，安装成功后再桌面上点击Chatbox图标运行程序。点击主界面左下方的“设置”，会弹出的“设置”窗口，在“模型”选项卡中选择模型类型，这里根据我们安装模型的提供方选择“OLLAMA API”，Chatbox能检测到通过OLLAMA 运行起来的模型，选择你要对话的模型，比如“deepseek-1:1.5b”，点击“保存”按钮保存设置。