内存价格暴涨300%！AI大模型“吃光“内存，程序员如何配置电脑才能跑得动代码？-优快云博客

太贵了。

时值美国圣诞购物季，喜欢电子产品的朋友们，却发现了这样恐怖的景象：

英伟达的顶配 GPU RTX 5090 官方起售价为 1999 美元（经过市场溢价可能达到了 3000 美元以上），而一根单条 256GB 的 DDR5 内存如今的市场价却也飙升到了 3500-5000 美元之间。

电脑内存，这个长期以来在配置里不占大头的组件，现在的价格已经涨到了令人乍舌的程度，这在个人消费领域已经成了个荒诞但又现实的写照。而且根据各种新闻，短期看来 PC 内存还要继续涨价，手机据说也要涨价。

这一波内存涨价的根本原因在于：产能都被 AI 截胡了，目前的内存市场正处于一场由 AI 算力需求引发的「结构性紧缺」中。

AI 训练与推理能力取决于 GPU、TPU 以及数据中心的整体性能，而 GPU / TPU 需要 HBM，AI 数据中心需要 LPDDR 内存。全球只有三家公司具备生产高端 HBM 与 LPDDR 的能力：SK 海力士、三星电子、美光。

今年 10 月，OpenAI 以「星际之门」项目的名义，与三星和 SK 海力士签下协议，锁定了每月高达 90 万片 DRAM 晶圆供应（HBM 本质上就是将多层 DRAM 芯片垂直堆叠在一起），这相当于全球 DRAM 月产量的 40%。这种规模的采购，瞬间抽走了大量本可用于消费市场的产能，直接导致合约价在交易公布后跳涨。

内存厂家的产能是存在上限的。由于 AI 服务器对内存的出价极高（向英伟达出售 HBM 内存的利润是向消费者出售 DDR5 内存的 5 倍），厂家会优先将生产线分配给大客户。这直接导致了供应给 PC 市场的常规 DDR5 晶圆减少，从而引发全球性的普涨。

不单单是内存，AI 着实是电脑配件价格上涨的强力驱动力。

不仅是 AI 基础设施的内存，现在「AI PC」的概念也要求更大的内存来运行本地大模型（LLM）。以前 16GB 的 PC 看起来已经能够处理所有任务，现在为了流畅运行 10B 以上参数的模型，32GB 甚至 64GB 逐渐成为新的门槛。这种需求叠加正在让内存紧缺进一步加剧。

前些天，硬盘存储的价格也同样遇到一波飙升。但最离谱的自然是显卡市场，逛了逛某二手交易平台，炙手可热的 RTX 4090 仍要近两万的价格。小编当年购入的 4090，在猛猛用了两年之后出手甚至还能挣钱…

内存涨价的行情不仅牵动着 GPU 厂商和消费者，也深刻影响到了科技公司，最近有消息称，谷歌的一些采购人员因为未能保证内存供应而遭解雇。

本月初，微软采购高管访问韩国，与 SK 海力士就长期供货协议及价格展开谈判。在会议中，SK 海力士明确表示：「在微软提出的条件下，供货存在困难。」一位半导体业内人士透露：「听到这个答复后，一名微软高管当场情绪失控，愤然离席。」

据产业界 25 日消息，随着全球 AI 半导体供应紧张局势加剧，包括微软、谷歌在内的全球科技巨头采购负责人正蜂拥至韩国，争抢产能。

半导体行业相关人士表示：「为了与三星电子和 SK 海力士签署存储器供货合同，微软、谷歌、Meta 等大型科技公司总部的采购负责人几乎是长期驻扎在韩国。」

目前，谷歌 TPU 所搭载的 HBM 中约 60% 由三星电子供应。随着近期 TPU 需求远超预期，谷歌试图向 SK 海力士与美光寻求追加产能，但得到的回复是：「不可能。」

据悉，谷歌管理层因此解雇了相关采购负责人，认为其未能提前签署长期供货协议，导致严重供应链风险，是对一线人员的问责性人事处分。

这些科技巨头为了内存供应而焦头烂额的时候，被认为是 AI 时代吃到最多红利的英伟达，同样也在为内存短缺烦恼。

尤其是在谷歌推出 TPU 芯片，向推理与规模化部署优先的战略转型，挑战英伟达在人工智能芯片的领先地位之后。

昨天，人工智能芯片初创公司 Groq 已与英伟达就推理技术达成了非排他性许可协议，同时英伟达挖走了 Groq 创始人兼 CEO Jonathan Ross、总裁 Sunny Madra 及多名核心工程师。[详细信息可以参阅我们的报道。]

Groq 的 LPU（Language Processing Unit）芯片未采用英伟达 GPU 常用的高带宽内存（HBM），而是将静态随机存取存储器（SRAM）直接集成在芯片内部。这种设计使单芯片内存带宽高达 80TB/s，是传统 HBM 方案的 20 倍以上。Groq 方案在物理空间和功耗上付出了代价：一个标准机架满载功耗约为 26kW 至 30kW，且需要比 GPU 方案更多的机架数量来承载同等规模的模型参数。

联系到疯涨的 HBM 内存价格，有业内人士提出了一种观点：

英伟达与 Groq 的交易，是为了对冲 DRAM 的价格疯涨和产能短缺，探索在内存上的新的技术路径。

Groq 在推理领域将一种设计哲学推向极端，核心赌注在于 SRAM。模型权重完全驻留在片上，并非作为缓存，而是作为主存储介质存在。

而 SRAM 的带宽比片外 HBM 高出若干个数量级，这一点至关重要，因为在推理过程中，每一个生成 token 的瓶颈受限于内存访问，而非浮点计算（FLOPs）。在此基础上，Groq 采用静态调度机制，计算与通信在编译阶段即被规划到时钟周期级别，从而消除了 GPU 架构时代大量存在的系统复杂性。

这场溢价接近 3 倍的收购，或许也是英伟达在「内存荒」的大背景下，正在开辟的第二条战线。

不过，对这部分说法也有不少反对意见，毕竟使用 SRAM 做主内存属实有些匪夷所思。

SRAM 之所以是 Mb 级别而不是 Tb 级别，是因为 SRAM 非常快，但只有与逻辑电路集成在一起时才能发挥这一优势。换句话说，SRAM 的成本是在处理器芯片上制造高性能晶体管极其昂贵。英伟达的 Tensor Core 的芯片尺寸已经非常巨大，因此增加大量 SRAM 单元也会很快出现问题。

最后，对于我们这些普通消费者来说，是应该抓紧时间换机，还是等待这一波疯狂涨价过程的消退呢？

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述