AI 核心瓶颈转移：从算力到内存，CXL 引领内存架构革命！

AI 投研遇难题，核心瓶颈正转移

最近做 Multi - Agent（多智能体）投研系统时，遇到复杂研报运行时间长的问题，Tokens 消耗到数万级别后，响应时间急剧上升，多 Agent 协同、工具链调用、长上下文推理、结构化对抗分析同时发生时，延迟更明显。一开始以为是算力不够，但套餐请求符合未打满且无链接报错，问题可能是 AI 面对超长 Context 导致系统级阻塞，核心是大模型卡在“数据搬运（Data Movement）”。资本市场和 AI 基础设施的变化已提前反映这一点。过去两年市场疯狂买 GPU，现在一线工程师发现很多 AI 系统里 GPU 算力未跑满，内存先崩，Context 管理成 Harness Engineering 重要组成，这意味着 AI 核心瓶颈正从 Compute - centric（以计算为中心）转向 Memory - centric（以内存与数据移动为中心）。2023 - 2025 主线是“GPU 算力革命”，2026 - 2028 可能进入“内存架构革命（Memory Architecture Revolution）”，关键词是 CXL（Compute Express Link）。

AI 为何“极度缺内存”

2026 年 5 月，华尔街被“存储芯片”暴涨打蒙。美光科技（MU）过去 12 个月股价狂飙 700%，市值突破 8400 亿美元；西部数据（WDC）一年内暴涨 900%；闪迪（SNDK）上市以来狂涨 3300%，单日暴涨 16%突破 1560 美元。投资者懊悔错过内存狂欢，原因是思维停留在“AI = 算力 = GPU”旧共识里。这波存储股爆发揭开 AI 系统致命瓶颈是 Memory Wall（内存墙）的真相。很多人疑惑 NVIDIA 新一代 GPU 的 192GB HBM 为何不够用，问题在于 AI 推理阶段吞噬内存的往往是 KV Cache。大模型推理时，每生成一个 Token 会保存 Key 和 Value 用于后续 Attention 计算，上下文越长，缓存越大。长上下文、Multi - Agent、持续会话、实时推理、多用户并发等趋势会导致 KV Cache 爆炸式增长，70B 级别的模型跑百万 Token 上下文并叠加高并发，KV Cache 易膨胀到数百 GB 甚至 TB 级别，而不能把所有数据塞进 HBM 里。

HBM 短板凸显，AI 进入分层内存时代

最近内存股涨价核心动力是 HBM（高带宽内存），但它成本极高、功耗极高、容量扩展困难、受制于 CoWoS 先进封装产能，像“顶级学区房”，不能让所有数据都用它，否则 AI 公司推理成本会失控。于是 AI 系统进入“分层内存时代”，未来 AI 内存架构大概率是：Tier 0（HBM）超快、超贵，存放最核心即时计算数据；Tier 1（DDR5 / CXL Memory）大容量、高性价比；Tier 2（NVMe / SSD）更大、更慢。未来 AI 系统核心大考是确定哪些数据放最快内存以及降低数据在各层间的搬运成本。

NVIDIA 转向 Data Movement

过去 AI 行业拼 FLOPS（每秒浮点运算次数）和 GPU 数量，现在英伟达开始强调 Context Memory、Shared Memory、Rack - scale Architecture（机架级架构）。在 GTC 2026 上，NVIDIA 提出 POD - wide context memory（即整个 Rack/POD 级别的共享上下文内存）。英伟达的 Grace - Blackwell (GB200) 架构把 CPU 和 GPU 通过超高带宽的 NVLink - C2C 焊在一起，Grace CPU 为管理 HBM 和共享内存池设计，卖的是“CPU + GPU + 内存织物”全栈解决方案，这意味着 AI 基础设施从 GPU - centric 转向 Context - centric，人们意识到算力强但数据搬不动也没用。

CXL 解决内存难题

过去服务器架构中 CPU 绑定 DRAM，GPU 绑定 HBM，彼此难灵活借用，导致 GPU - A 的 HBM 被 KV Cache 撑爆，而 GPU - B 的内存闲置，形成“Stranded Memory（搁浅内存）”。有人问英伟达 NVLink - C2C 已解决问题为何还需 CXL，答案是它们不在一个生态位。NVLink 是英伟达“私家高铁”，解决大模型暴力计算的“算力上限”；CXL 是 AI 时代“通用货运网络”，由 Intel、AMD、Google、Meta 等推行的开放标准，解决全行业的“内存墙”问题和 AI 商业化落地的“成本下限”。CXL 带来 Memory Pooling（内存池化）概念，过去服务器像独立别墅自带水塔，未来数据中心通过 CXL 变成共享水网系统，各 CPU、GPU 可动态共享外部内存池，按需分配内存资源。

算法压缩与 CXL 并非互斥

有人问 DeepSeek v4 通过 MLA（多头潜在注意力机制）架构把 KV Cache 显存占用砍掉 80% 到 90%，为何还需 CXL。其实 DeepSeek 算法压缩与 CXL 硬件池化非互斥关系，而是拯救 AI“内存墙”的两条交叉线。DeepSeek 本质是“用极致计算和带宽换内存空间”，MLA 架构压缩 KV 矩阵，但计算时需高频“解压缩”还原，对显存带宽和互联速度要求高，算法压缩极限是对数据传输宽带的极度压榨。即使 DeepSeek 砍掉 90% 的 KV Cache，跑数百万 Token 长文本和数万并发时，剩下 10% 仍会撑爆单机 HBM 天花板，且 GPU - A 省的闲置内存无法给 GPU - B 使用。未来算法负责“节流”，CXL 负责“开源”，两者结合是跨越“Context Memory 战争”的终极解法。

CPU 迎来“结构性复兴”

有人认为 AI 时代传统 CPU 沦为打杂，实则相反。在 CXL 硬件池化和 DeepSeek v4 高效算法催化下，CPU 重要性被重估。在 CXL 共享内存网络里，CPU 像“神经中枢”。一是 CXL 时代 GPU 和海量外部内存联网，复杂的 Memory Orchestration（内存编排调度）和多租户一致性管理需靠有高 I/O 带宽和复杂调度逻辑的“重型 CPU”；二是 DeepSeek 压缩 KV Cache 后，可把海量上下文记忆存放在 CPU 掌控的 DDR5/CXL 内存池，GPU 计算，CPU 调取和维护上下文。AI 下半场对 CPU 要求是“职能升级”，强大调度架构的高级 CPU 价值将重构。目前 ARM 压倒 x86，因 AI 机柜功耗逼近极限，x86 能效比吃亏，ARM 处理高频、并行 I/O 调度省电费，且云巨头基于 ARM IP 授权可定制适合 CXL 链路和 DeepSeek 算法的私有 CPU。未来王者是“最懂得调度内存”的。

产业链“四大关键节点”成“卖水人”

AI 基础设施重心向“Memory Movement（数据搬运）”迁移，CXL 内存池化时代，四个环节是未来 3 年硬核“卖水人”：1. Retimer（高速信号修复芯片）：PCIe 5.0/6.0 和 CXL 传输速度翻倍，高速信号在主板易衰减失真，Retimer 像内存运输线的“加油站与放大器”，是机架级 AI 服务器标配，核心标的有 Astera Labs (ALAB)、Credo Technology (CRDO)。2. CXL Switch（价值咽喉）：未来 GPU 通过 CXL Switch 动态连接内存织物，能实现超低延迟、高一致性内存交换的企业扼住 AI 数据网络咽喉，是硬件链条中溢价最高、壁垒最深环节，核心标的有博通 (AVGO)、Marvell (MRVL)。3. 被重估的 CPU 层：传统认知里 CPU 在 AI 时代边缘化，CXL 时代它成统御内存池的“总调度交警”，现在看 CPU 的 I/O 通道数、低功耗和内存调度效率。蓝图统治者是 Arm Holdings (ARM)，云巨头自研芯片要给它交底座授权费；定制化推手有世芯电子 (3661.TW)、Marvell、博通；x86 的最后尊严是 AMD (AMD)，其 EPYC 凭借高 I/O 通道数和激进 CXL 拥抱策略是公有云上硬通货；反直觉赢家是 Intel (INTC)，靠独家 EMIB 先进封装是云巨头造芯绕不开的代工厂。4. Memory Controller & Orchestration：连接海量内存是第一步，高效调度共享内存涉及复杂 OS 支持、工作负载迁移和多租户隔离，是软件生态问题。核心标的是 Rambus (RMBS)，能研发类似 Meta TMO（透明内存卸载）底层软件栈的科技巨头可建立“内存软件护城河”。

结语：攻克 AI 全域内存共享难题

30 年前互联网解决“计算机之间的数据共享”，20 年前云计算解决“计算资源的弹性分配”，5 年前大模型解决“大尺度参数的注意力分配”，1 年前智算中心解决“万卡集群的算力洪流分配”，如今正在攻克“AI 芯片之间的全域内存共享”。当人们抱怨 AI Agent 运行慢、盯着英伟达 K 线图时，更底层、利润更丰厚的系统级架构变革可能已开始。AI 下一阶段或许是“Context Memory 战争”。各位不妨思考，谁会成为 CXL 内存池化时代的下一个“英伟达”，欢迎在评论区留下观点，一起探讨 AI 基础设施的下一个十年。