单双卡4090挑战DeepSeek70B：本地部署效果揭秘

一、引言

在人工智能领域，模型的规模与性能一直是开发者们关注的焦点。随着技术的不断进步，越来越多的超大模型被推出，其中DeepSeek70B无疑是近期备受瞩目的明星之一。然而因为访问人数过多，deepseek的服务器有时候相应不过来，因此把它部署到本地，以便获得更好的体验，作为一名ai爱好者，我最近尝试在单卡和双卡NVIDIA RTX 4090上本地部署了DeepSeek70B，并对其效果进行了实测。本文将详细分享我的部署过程、性能表现以及实际应用体验，希望能为对超大模型感兴趣的朋友提供一些参考。

二、准备工作

在开始本地部署之前，我们需要确保硬件和软件环境都已准备就绪。这一步骤至关重要，就像是搭建房屋前要先打好地基，只有准备充分，才能让后续的部署过程更加顺利。

（一）硬件与软件清单

1. 本次测试硬件配置如下：

GPU 选用 NVIDIA GeForce RTX 4090，24GB 显存，分别用单卡和双卡测评。

CPU 选择≥16 核、主频≥2.5GHz 的 Intel Xeon 或 AMD EPYC 系列处理器，在数据加载和预处理阶段发挥重要作用。

内存准备≥256GB，因 70B 模型内存需≥1.5 倍模型参数内存（FP16） ，避免内存不足问题。

存储配备≥1TB 的 NVMe SSD，deepseek70b 模型文件约 140GB（FP16），高速读写可提升加载效率，也需足够磁盘空间存放。

1. 软件环境：

操作系统：推荐使用 Ubuntu 20.04 及以上版本，其在深度学习领域有着广泛的应用和良好的兼容性，