尽管许多卖课博主声称能轻松运行满血版DeepSeek R1,但满血版R1模型参数高达671B,仅模型文件就需要404GB存储空间,运行时更需要约1300GB显存。
对于没有卡的普通玩家来说,运行的条件苛刻,且门槛极高。基于此,我们不妨将目光转向DeepSeek R1四款分别对应Qwen和Llama的蒸馏小模型:
-
DeepSeek-R1-Distill-Llama-8B
-
DeepSeek-R1-Distill-Qwen-14B
-
DeepSeek-R1-Distill-Qwen-32B
-
DeepSeek-R1-Distill-Llama-70B
海外博主已经整理出相关配置供大家参考,注意,只要GPU等于或超过VRAM要求,模型仍然可以在规格较低的GPU上运行。但是设置不是最佳的,并且可能需要进行一些调整。
DeepSeek-R1 671B: Complete Hardware Requirements - DEV Community
本地部署R1小模型,两种方法,一学就会
我们这次手上体验的设备正是M1 Ultra 128GB内存的Mac Studio。关于主流本地部署DeepSeek的教程,两种方法,一学就会。
LM Studio
首先登场的是小白极简版本,在官网(lmstudio.ai)根据个人电脑型号下载LM Studio,接着为了方便使用,建议点击右下角修改语言为简体中文。
然后搜索deepseek-r1选择合适的版本下载,作为示例,我选择使用阿里Qwen模型为基座蒸馏出来的7B小模型。
配置完成后,即可一键启动。