本地部署DeepSeek-R1模型

最新推荐文章于 2025-03-11 11:06:07 发布

solihawk

最新推荐文章于 2025-03-11 11:06:07 发布

阅读量1.2k

点赞数 22

CC 4.0 BY-SA版权

分类专栏：技术前沿人工智能文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/solihawk/article/details/145444405

技术前沿同时被 2 个专栏收录

8 篇文章

订阅专栏

人工智能

8 篇文章

订阅专栏

由于DeepSeek-R1已开源，在体验时候有几种方法，比如访问官网、本地化部署，基于模型的微调等。

官方平台：访问官网（https://www.deepseek.com/ ）直接试用基础功能。
API服务：开发者可通过API调用模型，输入Tokens成本低至1元/百万（缓存命中时），适合初创企业。
本地化部署：使用Ollama或Hugging Face平台（https://huggingface.co/deepseek-ai）部署模型，支持Linux/Windows系统。
模型微调：基于开源的660B参数模型（DeepSeek-R1-Zero），用户可针对垂直领域进行微调。
蒸馏小模型：利用官方提供的蒸馏技术，将大模型压缩为1.5B~70B参数的小模型，适配移动端应用

本文介绍基于Ollama平台在本地部署DeepSeek-R1模型。

1、Ollama平台安装

Ollama 是一个专注于本地化部署和运行大型语言模型（LLM）的开源平台，旨在简化大模型的开发、管理与应用流程。Ollama的核心优势在于将LLM封装为轻量级Docker镜像，通过命令行工具和API实现模型的本地运行与管理。用户无需复杂配置即可在个人电脑或服务器上部署主流模型（如Llama3、Gemma、Mistral等），Ollama可以自动识别并优化硬件资源（如GPU），显著提升推理速度与效率。Ollama通过ollama run运行模型、ollama pull下载模型，ollama list查看已安装模型，ollama rm删除冗余模型。

官网下载地址：https://ollama.com/download/，支持Windows、Linux和macOS。

在这里插入图片描述

1）安装到指定目录
默认会安装在C盘，如果想指定安装到某个目录，可以使用如下命令在powershell终端执行：
.\OllamaSetup.exe /DIR=" D:\LLM\Ollama "
会强制将Ollama主程序安装到D:\Programs\Ollama目录下

在这里插入图片描述

2）指定默认模型下载路径

模型默认下载到C:\Users<用户名>.ollama\models下，可以通过指定环境变量将模型下载到指定的路径下。添加系统变量修改模型默认下载路径，变量名：OLLAMA_MODELS

在这里插入图片描述

若已下载模型需迁移，可直接将 C:\Users<用户名>.ollama\models 下的 blobs 和 manifests 文件夹复制到新路径，再重启 Ollama。

3）查看Ollama版本

安装完成后在powershell查看ollama版本信息，表示安装成功
PS D:\LLM> ollama -v ollama version is 0.5.7

2、安装DeepSeek-R1模型

Ollama支持的DeepSeek-R1参数版本包括以下多个规模，可根据硬件配置选择适合的模型：

1.5B参数版：命令为 ollama run deepseek-r1:1.5b
- 适用场景：轻量级任务，如简单文本编辑、基础问答、低资源环境下的测试场景。
- 硬件需求：至少4GB内存，适合显存低于4GB的GPU或集成显卡
7B参数版（默认版本，显存需求约6-8GB）：直接运行 ollama run deepseek-r1 会默认加载7B版本，平衡性能与资源占用。
- 适用场景：日常使用场景，如文本生成、简单代码调试、教育辅助问答等
- 硬件需求：建议6GB以下显存，需4.7GB存储空间
8B参数版（显存需求约10GB）：命令为 ollama run deepseek-r1:8b
- 适用场景：中等复杂度任务（如代码生成、逻辑推理），适用于Llama架构的蒸馏版模型。
- 硬件需求：需约10GB显存，存储空间4.9GB
14B参数版：命令为 ollama run deepseek-r1:14b
- 适用场景：高级任务处理，如中等规模数据分析、教育领域复杂题目解析。
- 硬件需求：显存建议12GB左右，存储空间9GB
32B参数版（显存需求约24GB）：命令为 ollama run deepseek-r1:32b。
- 适用场景：专业用途，如代码生成、复杂问题解答，性能接近OpenAI o1-mini。
- 硬件需求：需24GB左右显存，存储空间20GB
70B参数版（最大规模，显存需求24GB+）：命令为 ollama run deepseek-r1:70b，提供最高推理能力，需顶级显卡（如多卡配置）。
- 适用场景：高性能需求任务，如专业领域知识问答、中大规模内容生成。
- 硬件需求：需24GB+显存（如NVIDIA A100），存储空间43GB
671B参数版（全尺寸模型，需极高资源）：命令为 ollama run deepseek-r1:671b。
- 适用场景：科研、商业决策分析、复杂逻辑推理等高精度需求场景。例如数学证明、编程任务解析、公司经营策略模拟等。。
- 硬件需求：需多块高端GPU（如16张NVIDIA A100 80GB显卡），显存需1342GB以上，仅支持集群部署，普通用户难以本地运行