
AI推理的“内存墙”:不够用就得从头算
近日,The Circuit播客专访美光科技数据中心业务部门高级副总裁兼总经理Jeremy Werner,探讨AI时代内存与存储行业变化。Werner指出,本轮内存行业繁荣与以往不同,内存成推理关键资产和训练核心支撑,趋势不减。训练用内存学习后输出模型,推理用内存记忆。推理分两阶段,解码时需KV缓存,内存不足则重新计算,算力指数增长,充足内存可让GPU算力平方提升。推动KV缓存需求增长因素有上下文窗口变长、模型参数量增大、并发用户增多,目前上下文长度年增速30倍。
内存层级:从HBM到SSD,一条完整的“存储链”
Werner梳理了AI数据中心内存层级,从HBM到SSD构成“存储链”。HBM紧贴GPU,容量10 - 100GB,速度快但容量有限;主内存连接CPU,容量是HBM的4 - 20倍,速度慢;扩展内存未大规模部署;上下文内存存储用SSD存KV缓存,容量大但延迟高、带宽低;数据湖是底层海量SSD存储。目前该层级供不应求。
HBM4与245TB SSD:美光的两张王牌
美光在HBM4和SSD发力。HBM4产品带宽是上一代HBM3e两倍以上,可加快数据到GPU速度。245TB SSD体积小,能减少设备数量和配套设施,压缩存储占地超80%,降低功耗,回应数据中心电力和空间约束。
产能已经跟不上:全球五座晶圆厂同步开建
Werner坦言内存行业产能不足,美光正全球建五座晶圆厂,包括爱达荷州博伊西、纽约州北部、弗吉尼亚州、新加坡、日本和中国台湾等地。行业受洁净室空间限制,短期内难改善,英特尔等也表示产能已满。
市场还没看懂这件事
对于市场担忧云服务商资本开支,Werner认为企业正经历革命,潜力大。AI应用未饱和,推理时代刚起步,Agentic AI和物理AI未大规模落地。硅谷内外对AI认知有落差。
访谈全文
节目中,嘉宾和主持人围绕各话题展开讨论,涉及这轮周期与以往不同、AI增长预判、市场可持续性、推理“内存墙”、KV缓存、内存层级、用户并发需求、功耗瓶颈、存储短缺、个人AI Agent内存需求、SSD创新、工程创新节奏等内容。如Jeremy提到,美光早布局AI技术,扩产是因AI可持续创新;推理架构面临存储挑战;内存不足会使计算量指数增长等。
546



被折叠的 条评论
为什么被折叠?



