百元显卡 P106 “大战” DeepSeek R1 7B/8B 大模型

本文首发于只抄博客，欢迎点击原文链接了解更多内容。

前言

最近 DeepSeek 非常火爆，和 22 年 ChatGPT 横空出世一样，官方的服务器动不动就会“服务器繁忙，请稍后再试”。但和 ChatGPT 不同的是，DeepSeek 的官方 API 价格便宜，并且开源模型权重，允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。

这也就意味着在官方网站或者 API 繁忙时，我们还可以使用第三方的 API，甚至是本地运行蒸馏后的模型来运行 DeepSeek R1。

对于习惯使用 API 的用户，最近 DeepSeek 官方暂停了 API 服务的充值，大家可以先选择第三方的 API 使用，目前像是 NVIDIA 、腾讯云这些大厂都有限时的免费 API 可以使用，不用充值，用来简单体验下也够用了。

这次我们先来尝试一下本地部署蒸馏后的模型。

本地部署 DeepSeek R1 折腾为主，普通家用显卡部署的 7B/8B、14B 基本不可用，即便高端显卡部署的 32B 和 70B 勉强能用，和官方的 671B 模型相比也有非常大的差距。

配置要求

配置要求来源于网络，仅供参考

• 1.5B：CPU最低4核，内存8GB+，若GPU加速可选4GB+显存，适合低资源设备部署等场景。
• 7B：CPU 8核以上