学 AI 大模型你可以这么选配电脑...

星球上一位球友提问——

日常开发和使用 LLMs 的电脑配置是什么？如果想运行多个大模型，应该如何选配电脑的配置呢？

提问：想问一下星主日常开发和使用LLMs的电脑配置是什么？

如果我只用于本地部署使用LLMs，在Macbook Pro中选择什么配置比较好，用AI调研了一下，推荐M4Max 128gb+2TB，应用的场景是搭建工作流时，128gb内存可以同时运行多个大模型，2TB存储可支持下载多个大模型。

我不太了解实际使用会不会性能过剩，星主有相关经验分享码？谢谢～

我相信很多刚开始学习 AI 大模型的朋友都会有类似的困惑。

尤其现在刚高考结束，很多同学马上就要步入大学，报考计算机系或者人工智能专业，这里先提前恭喜马上要上大学的同学们。

但是入学大礼包中的电脑配置，还是要好好的选一选的，尤其是未来报考 AI 大模型专业的同学。

这里我先回答下上面球友的问题：

球友好，我本人是用的 linux 服务器（64G内存）。

我的笔记本电脑仅做小模型或算法的验证，并不实际运行大模型。

如果你的场景是做工作流，而且调用的是本地大模型，那么内存越大/算力越高越好。

因为——

a) 我的经验是如果开发或搭建AI工作流，你大概率会频繁的验证不同模型的能力（不同的工作流节点上不同模型的表现可能非常大）。

b) 一旦你切换不同的模型进行验证，那么就需要本地电脑上存储非常多的大模型，相对应的电脑的算力肯定也是越高越好。

另外，你查询的 128GB+2TB 的配置，确实可以同时运行多个大模型，比如 3-4 个 32B 的大模型也是有可能的，2T的存储也差不多够用了。

这里先澄清下上面说的大模型和小模型。

其实这里的“大”和“小”并没有一个严格的界限，所谓的大和小是相对而言。

就比如我，因为工作需要，我在工作中会跑各种各样的模型。

比如会跑传统的 CV 模型，像是 yolo 系列的，也会跑基于 transformer 架构的大语言模型，比如 Qwen 系列，也会有文生图的模型，比如 StableDiffusion 系列等。

这些模型的参数量大小不一，yolo 系列参数量相对很少，量级大概在几百万（几十M）的样子。

SD 系列的模型，参数的量级则大概有几十亿到几百亿等。

而像是 Qwen 系列的模型，参数量则横跨几十亿到几千亿了，参数量就更大了。

所以，如果我要跑参数量很大的模型，我个人的笔记本是完全跑不起来的，只能在服务器上运行，并且服务器上还要装有 GPU 卡。

而我自己的个人笔记本，仅仅做一些小的算法验证以及小模型的实验，比如我可以在一些小模型上改算法，然后跑一个 0.5B 的“小”模型验证一下。

话说回来，现在很多大模型在发布的时候，都会带着参数发布，比如 Qwen-32B 大模型，说的是具有 320 亿参数的模型（1B 代表十亿）。

而这里表示的参数量和我们的计算机内存大小的表示是无法一一对应的。

因为大模型在运行过程中，除了要存储模型本身的参数之外，还会产生很多的中间数据，最常见的是中间层的激活值，此外还有输入和输出数据需要存储。

所以，对于典型的推理场景而言，需要的实际内存大小大概是模型参数量的 2-4 倍的大小。

而如果你做训练，可能还需要额外 2-3 倍的内存用于存储梯度和优化器参数。

当然上面的倍数也仅仅是一个经验值。

按照这个经验值，假设你要运行一个 32B 的大模型，那么你大概需要一个配置了 64GB 内存的电脑用来存放模型的参数及中间数据。

下面的表格给出了目前常见规模的大模型以及对应的最小电脑配置，包含了 GPU 的配置。

除了上面表格给出的内存配置之外，还有一点需要注意的是，如果要使用自己的电脑运行大模型，除了关注电脑的内存大小之外，还要看电脑的算力如何。

算力是什么？你可以认为是 CPU 的运行速度。

电脑 CPU 越强，算力越高，运行大模型就越快。

不过比较现实的一点是，目前运行大模型，最好都选配 GPU 来运行。否则，你会发现即使号称非常牛的 CPU，运行大模型也会相当的缓慢（卡）。

所以，选择电脑的配置，内存方面可以参考上面的表格，另外经济条件允许的话，选配带 GPU 的电脑，配置越高越好，直接一步到位。

不过，如果经济条件不允许，选配一个 64G 内存做实验研究也是够了的，毕竟现在不少云服务器厂家都提供带有 GPU 的 AI 云服务器。

我们可以很方便的在云服务器上运行或者实验我们的笔记本跑不起来的大模型，而且不少还是免费的或送免费时长，完全可以去薅羊毛使用。

感恩云服务器厂家。

好了，关于如何选配电脑就写这么多，大家如果有关于运行 AI 模型和选配电脑方面的问题，欢迎加我微信与我交流。

报考 AI 专业，学 AI 大模型你可以这么选配电脑...