以下是实现DeepSeek R1推理模型本地断网部署的步骤指南,结合了模型量化、防火墙配置和硬件加速优化:
一、准备工作
- 模型获取(需短暂联网)
- 访问Huggingface官网,搜索并下载以下资源:
- DeepSeek-R1官方模型(如
DeepSeek-R1-32B-Chat-GGUF
) - TheBloke团队的量化版本(含Q4/Q8等精度)
- 示例下载命令:
huggingface-cli download TheBloke/DeepSeek-R1-32B-Chat-GGUF --local-dir ./models --include "*.gguf"
- DeepSeek-R1官方模型(如
- 软件安装
- 下载安装LM Studio
- 安装NVIDIA CUDA Toolkit(仅NVIDIA显卡需安装)
二、网络隔离配置
- 防火墙设置
- 打开
高级安全Windows防火墙
- 创建新出站/入站规则:
- 程序路径:
C
- 程序路径: