DeepSeek R1本地部署教程

尽管许多卖课博主声称能轻松运行满血版DeepSeek R1,但满血版R1模型参数高达671B,仅模型文件就需要404GB存储空间,运行时更需要约1300GB显存。

对于没有卡的普通玩家来说,运行的条件苛刻,且门槛极高。基于此,我们不妨将目光转向DeepSeek R1四款分别对应Qwen和Llama的蒸馏小模型:

  • DeepSeek-R1-Distill-Llama-8B

  • DeepSeek-R1-Distill-Qwen-14B

  • DeepSeek-R1-Distill-Qwen-32B

  • DeepSeek-R1-Distill-Llama-70B

海外博主已经整理出相关配置供大家参考,注意,只要GPU等于或超过VRAM要求,模型仍然可以在规格较低的GPU上运行。但是设置不是最佳的,并且可能需要进行一些调整。

DeepSeek-R1 671B: Complete Hardware Requirements - DEV Community

                           本地部署R1小模型,两种方法,一学就会

我们这次手上体验的设备正是M1 Ultra 128GB内存的Mac Studio。关于主流本地部署DeepSeek的教程,两种方法,一学就会。

LM Studio

首先登场的是小白极简版本,在官网(lmstudio.ai)根据个人电脑型号下载LM Studio,接着为了方便使用,建议点击右下角修改语言为简体中文。

然后搜索deepseek-r1选择合适的版本下载,作为示例,我选择使用阿里Qwen模型为基座蒸馏出来的7B小模型。

配置完成后,即可一键启动。

DeepSeek R1 是一个强大的语言模型平台,支持本地部署并与LM Studio等工具集成。以下是简化的本地部署教程及与LM Studio的集成指南。 ### DeepSeek R1 本地部署教程 #### 环境准备 1. **硬件要求**: - CPU/GPU资源:建议配置高性能GPU以加速推理过程。 - 内存大小:推荐8GB以上RAM。 2. **软件环境**: - 操作系统:Linux (Ubuntu 16.04 或更高版本)、Windows Subsystem for Linux (WSL) - Python 版本:Python >= 3.7.x - 其他依赖库:安装CUDA、cuDNN等相关深度学习框架所需的运行环境。 #### 步骤说明: ##### Step 1: 获取源码和预训练模型文件 通过官方渠道下载最新版的`deepseek-r1-release.zip`压缩包并解压到目标目录下;同时获取相应的预训练权重文件(.bin/.pt格式),将其放置于指定路径中备用。 ```bash # 解压zip文件至工作空间内 unzip deepseek-r1-release.zip -d ./workspace/ ``` ##### Step 2: 安装必要的python模块 进入项目根目录后按照requirements.txt文档指示依次安装各类第三方库,如transformers、torch等核心组件。 ```bash cd workspace/deepseek_r1/ pip install --upgrade pip setuptools wheel # 更新基础构建工具集 pip install -r requirements.txt # 根据需求列表批量安装所有必需品 ``` ##### Step 3: 配置启动脚本 编辑config.yaml样例模板里的各项参数值(例如监听端口number,port number;最大并发数max_workers,max concurrent workers),保存修改后的副本作为实际生效依据conf/local_config.yml。 ##### Step 4: 启动服务进程 利用提供的入口程序main.py开启后台守护线程,并设置日志级别记录详细的执行信息便于后续排查故障原因。 ```bash nohup python main.py --config=conf/local_config.yml > nohup.out & echo $! >> pidfile.log # 记录主任务PID用于停机时清理残留活动连接 tailf nohup.out # 实时查看输出结果 ``` 完成上述操作即实现了对DeepSeek R1的基础搭建流程,在确认各环节无误的情况下即可正常使用该API接口对外提供文本生成类应用的支持功能啦! --- ### LM Studio集成指南 为了更高效地管理大规模语料数据以及优化超参搜索效率等问题,我们可以借助专业级IDE——Language Model Studio(LM Studio)来进行辅助开发调试等工作。 #### 插件安装步骤: 访问官方网站https://lmstudio.ai/ 下载对应的操作系统的稳定版本客户端应用程序; 打开APP Store搜索栏输入"DeepSeek Connector Plugin",然后点击安装按钮等待自动同步完成后重启一次软件界面使其生效。 #### 创建新工程并向其中添加远程仓库链接地址 选择菜单栏File>New Project...新建空白项目文件夹; 右键单击左侧Explorer区域下的tree node节点项->Git Repository Settings -> Remote URL field框里粘贴刚刚git clone下来的repository URL链接字符串; #### 编辑器内部直接调用命令行指令快速切换分支tag或者pull最新的commit更新内容下来保持一致步调前进. 按快捷键Ctrl+Shift+C弹出内置终端窗口,尝试着敲入几个简单的shell command试试看比如 `git checkout develop`, `git pull origin master`; 最后别忘了定期备份重要资产以免意外丢失造成不可挽回的巨大损失哦~
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值