个人电脑本地部署DeepSeek671B满血版Q4大模型流程拆解与避坑攻略

前言

朋友们，你是否曾被DeepSeek官网或APP的一句‘服务器正忙，请稍后再试’气得拍桌而起？没错，这波操作不仅让人头疼，还让不少人心里打起了小算盘：如果能在自己的电脑上部署个大模型，那该多爽啊！但说到几百G的‘满血版’DeepSeek R1 671B，是不是光想想就心累？

别急，今天咱们来点不一样的——用一帮老硬件组合，让你在个人电脑上也能跑起来这数百GB的大模型，而且总成本竟然控制在万元以内！效果如何？这配置还能达到2.18 tokens/s的速度，简直物超所值。赶紧来看看这个神操作吧！

【视频演示】

挑战4张2080Ti22G纯本地部署Deepseek-R1 671B满血版大模型速度可达2.53tokens/s

1. 硬件配置

服务器：技嘉X99

CPU：单路E5-2673v4

显卡：2080Ti 22G*4

内存：512G

机箱：工作站全塔机箱

电源：1200W

2. 软件配置

操作系统：Ubuntu 22.04.5

本地大模型运行工具：Ollama

curl -fsSL https://ollama.com/install.sh | sh

大模型：DeepSeek R1 671B满血量化版 404GB

ollama run deepseek-r1:671b

3. 调优配置

如果按默认安装Ollama会报内存溢出错误，这里配置了几个调优参数，可以使得显卡不再内存溢出，会使用内存当显存，同时因为是4张显卡启动，所以在开机初始化时，加了延迟10秒启动Ollama，这样会让4