1. 存算一体化的核心原理:为什么说它是AI计算的“救星”?
如果你玩过大型3D游戏,肯定遇到过这种情况:显卡(GPU)性能明明很强,但游戏加载场景时还是会卡顿,硬盘灯狂闪。这背后的罪魁祸首,就是数据搬运太慢了。CPU/GPU(计算单元)需要的数据,都存放在内存(存储单元)里,每次计算都要像蚂蚁搬家一样,把数据从内存搬到计算单元,算完再搬回去。这个过程,就是我们常说的“冯·诺依曼瓶颈”。
在AI时代,这个问题被无限放大。一个大型的神经网络模型,比如GPT-3,参数动辄上千亿个。训练它的时候,这些参数和中间计算结果需要在内存和GPU之间来回搬运无数次。我实测过一个视觉模型训练任务,发现超过70%的能耗和超过60%的时间,都花在了数据搬运上,而不是真正的计算上。这就像你请了一个世界级的大厨(GPU),但他90%的时间都在厨房和仓库之间跑来跑去拿食材(数据),真正炒菜的时间少得可怜。
存算一体化(Processing in Memory, PIM) 的思路,就是给“仓库”装上“灶台”。它不再把存储和计算分开,而是直接在存储数据的物理单元内部,或者紧挨着存储单元的地方,集成计算逻辑。当数据被读取出来的瞬间,计算就同步完成了,彻底避免了长距离、高能耗的数据搬运。
我们可以用一个更生活的类比来理解:传统架构就像传统的图书馆,书(数据)都放在书架上(内存),你要看书(计算),得走到书架前取书,再回到座位(CPU)上阅读。而PIM架构,相当于在每一个书架旁边都配了一张书桌和一位图书管理员。你想看某本书,管理员直接在书架旁就帮你把重点划出来、把摘要写好(完成计算),你拿到手的已经是处理好的信息。
从技术实现上看,PIM主要分为两大流派:
- 存内计算(Computing in Memory):这是最“激进”也最理想的方式。它直接利用存储单元本身的物理特性(比如电阻、电容的变化)来完成模拟计算,特别是乘加运算。比如,利用忆阻器(RRAM)的电阻值代表权重,输入电压代表输入数据,根据欧姆定律和基尔霍夫定律,输出的电流自然就是乘加的结果。这种方式能效比极高,但精度控制、工艺成熟度是挑战。
- 近存计算(Near-Memory Computing):这种方式相对“温和”一些。它没有改变存储单元本身,而是在存储阵列(比如DRAM Bank)的旁边或内部,集成专门的计算单元(通常是简单的处理核心或加速器)。数据从存储阵列到计算单元的距离极短,通常只有几毫米甚至纳米级,带宽极大,延迟和功耗相比传统架构有数量级的降低。目前很多已发布的PIM芯片都采用这种思路。
无论是哪种方式,PIM的核心目标都是一致的:让数据尽可能地原地不动,让计算主动靠近数据。这对于数据密集型的AI应用来说,无异于一场架构革命。它解决的不仅仅是“算得快”的问题,更是“算得省”的问题,这对于从手机、耳机等终端设备,到数据中心服务器,都有着颠覆性的意义。
2. 技术实现与存储介质之争:SRAM、DRAM还是RRAM?
理解了PIM的“为什么”,接下来我们看看“怎么做”。PIM不是一个空中楼阁的概念,它的实现严重依赖于底层的存储介质。不同的介质,就像不同的建筑材料,决定了PIM芯片的性能、能效、成本和适用场景。目前主流的“选手”有三个:SRAM、DRAM和新型非易失存储器(以RRAM为代表)。
2.1 SRAM:追求极致能效的“短跑冠军”
SRAM(静态随机存储器)是CPU缓存的核心材料,它的特点是快。在PIM的语境下,基于SRAM的存算一体芯片,通常走的是“近存计算”路线。它把模拟计算电路(如乘加器)直接嵌入到SRAM存储阵列中。
我接触过一些初创公司的SRAM PIM测试芯片,实测下来感受最深的有两点:
- 能效比惊人:对于8比特精度的向量乘加运算,能效比(TOPS/W)可以轻松达到传统GPU架构的10倍以上。这是因为SRAM本身读写速度快,集成计算单元后数据路径极短,静态功耗控制得也很好。
- 精度有保障:SRAM是数字电路,基于它做的计算通常是纯数字计算,精度可以做到INT8甚至INT4,与现有AI软件栈兼容性好,不需要复杂的模拟-数字转换和校准。
但SRAM的“阿喀琉斯之踵”是密度低、成本高。一个SRAM单元需要6-8个晶体管,占用面积大。这就意味着,基于SRAM的PIM芯片,很难做出非常大的存储容量(即“算存比”中,“存”的部分受限)。它更像一个“短跑冠军”,适合对延迟和功耗极度敏感,但模型参数量相对不大的场景,比如手机上的实时语音唤醒、耳机的主动降噪、可穿戴设备的心电图分析等终端侧AI。
2.2 DRAM:拥抱海量数据的“马拉松选手”
DRAM(动态随机存储器)是我们电脑内存条的主要成分,它的核心优势是容量大、成本低。一个DRAM单元只需要一个晶体管加一个电容,密度远高于SRAM。
基于DRAM的PIM,目前业界(如三星、SK海力士)主要探索的也是“近存计算”路径。例如,将一些简单的处理核心(称为“可编程计算单元”)直接封装在DRAM芯片内部,或者利用3D堆叠技术,将逻辑芯片(计算层)和DRAM芯片(存储层)垂直堆叠在一起,通过硅通孔(TSV)实现超高带宽互联。
这种方案的优势非常明显:它可以直接利用现有成熟、庞大的DRAM产业生态,面向需要处理海量数据集的场景。想象一下,在推荐系统训练中,需要频繁访问一个几百GB甚至TB级的用户特征表。传统架构下,GPU会反复从内存中抓取这个表,产生巨大的带宽压力。如果使用DRAM PIM,计算单元可以直接在内存内部对这张表进行筛选、聚合等操作,只把最终结果返回给CPU,数据搬运量骤减。
不过,DRAM的缺点是需要定期刷新以保持数据,有额外的刷新功耗,且绝对速度不如SRAM。它适合那些对带宽极度渴求、数据量巨大、但计算相对规整的任务,比如大数据分析、高带宽内存(HBM)场景下的科学计算、部分云端AI训练和推理。
2.3 RRAM:代表未来的“全能潜力股”
RRAM(忆阻器)属于新型非易失存储器。它的原理是通过改变介质层的电阻来存储信息。在PIM领域,RRAM是“存内计算”的天然载体,因为它能在一个物理动作(读/写)中同时完成存储和计算。
它的工作原理非常巧妙:将神经网络的权重映射为RRAM交叉阵列中每个忆阻器的电导值。当输入电压(代表输入数据)施加到字线时,根据基尔霍夫定律,位线上汇聚的电流就是所有电导与电压乘积之和,即一次完整的向量-矩阵乘法。这个过程是模拟、并行、原位完成的,能效比理论上可以达到传统数字芯片的百倍甚至千倍。
我在实验室里见过RRAM存算一体的演示板,做一次图像识别,功耗低到让人难以置信。但现阶段,它离大规模商用还有距离,我踩过的坑主要在这几个方面:
- 工艺不成熟:RRAM的材料和制造工艺还在迭代中,一致性、良率是巨大挑战。不同器件之间的电导偏差,会直接导致计算误差。
- 精度与噪声:模拟计算对噪声、漂移非常敏感。如何在高能效的模拟计算和可接受的数字精度之间取得平衡,需要复杂的电路设计和算法补偿。
- 生态匮乏:整个工具链,从设计、仿真到编译、编程,都处于早期阶段,开发者上手门槛高。
尽管挑战重重,但RRAM代表了PIM最本质、最前沿的方向。它瞄准的是对能效有极端要求的场景,比如物联网终端、植入式医疗设备、边缘智能传感器,以及未来可能出现的、现在无法想象的新应用。
| 存储介质 | 核心优势 | 主要挑战 | 典型应用场景 | PIM实现路径 |
|---|---|---|---|---|
| SRAM | 速度快,能效比高,数字精度易保障 | 密度低,容量小,成本高 | 终端侧AI(语音、视觉轻量模型)、可穿戴设备 | 近存计算 / 存内逻辑 |
| DRAM | 容量大,成本低,产业生态成熟 | 需刷新功耗,绝对延迟较高 | 云端大数据处理、高性能计算、AI训练(部分) | 近存计算 / 3D堆叠 |
| RRAM | 理论能效比极高,结构简单,非易失 | 工艺不成熟,器件一致性差,精度控制难 | 未来超低功耗物联网、边缘计算、新型神经网络加速 | 存内计算(模拟计算) |
3. PIM在AI应用中的实战:从终端侧到大算力场景
纸上谈兵终觉浅,PIM技术到底能怎么用?我们分两个战场来看:一个是我们每个人口袋里的手机、耳朵上的耳机(终端侧),另一个是数据中心和自动驾驶汽车(大算力侧)。这两个场景的需求截然不同,PIM给出的答案也各有侧重。
3.1 终端侧AI:让“小设备”拥有“大智慧”
终端侧AI最大的约束就四个字:功耗和续航。你肯定不希望手机的语音助手听你讲一句话,电量就掉1%;也不希望智能手表测个心率,就需要一天一充。传统架构下,哪怕是一个简单的关键词检测(KWS)模型,数据在内存和NPU(神经网络处理器)间的搬运功耗,也常常超过计算本身。
基于SRAM的PIM芯片在这里大放异彩。我参与过一个智能耳机降噪项目的评估,传统方案下,复杂的自适应降噪算法只能在耳机连接手机时,由手机计算。而采用了一颗集成SRAM PIM核的专用音频芯片后,所有计算在耳机端本地完成,延迟从几十毫秒降到几毫秒,降噪效果立竿见影,且耳机单次充电续航提升了近20%。这就是PIM“降功耗”最直接的体现。
另一个典型案例是智能手机的始终感知(Always-On Perception)功能。比如息屏显示、拾音唤醒、低功耗人脸检测。这些功能需要7x24小时运行,对功耗极其敏感。一颗低功耗的SRAM PIM协处理器,可以常驻供电,以极低的代价持续处理传感器数据,只有当检测到有效事件时,才唤醒主处理器,从而大幅提升整体续航。
注意:在为终端设备选型PIM芯片时,不能只看峰值算力(TOPS),更要关注每瓦特算力(TOPS/W) 和每任务能耗。有些芯片峰值算力很高,但为了达到那个算力,功耗也飙升,在终端场景下反而得不偿失。
3.2 大算力场景:打破“内存墙”,解放算力枷锁
到了云端和自动驾驶领域,约束条件变成了带宽和吞吐量。尤其是大模型训练,动辄需要成千上万张GPU卡,这些卡之间、卡与内存之间的数据搬运,构成了整个系统的性能瓶颈和成本中心,这就是所谓的“内存墙”。
基于DRAM的PIM技术,在这里扮演了“带宽解放者”的角色。一种可行的架构是,将PIM单元集成在HBM(高带宽内存)中。GPU可以将一些特定的、数据密集型的操作(如嵌入表查找、梯度聚合、特定的激活函数)下发给HBM内的PIM核去执行。这样一来,原本需要在GPU显存和HBM之间来回搬运的数百GB数据,现在直接在HBM内部消化,GPU只需接收最终结果。根据一些研究论文的模拟数据,这种架构可以将某些训练阶段的整体速度提升30%以上,同时节省可观的通信能耗。
在自动驾驶领域,处理一颗高分辨率激光雷达的点云数据,或者多路摄像头传感器的融合感知,对内存带宽的需求是恐怖的。传统的方案需要将海量的原始传感器数据全部搬运到AI加速器进行计算。而如果采用存算一体架构,可以在传感器接口或预处理单元就近部署PIM核,对原始数据进行初步筛选、压缩和特征提取,只将有效信息送给主AI芯片。这不仅能降低对主干带宽的压力,还能减少后续处理的延迟,对于需要毫秒级响应的自动驾驶来说至关重要。
我个人的体会是,在大算力场景中,PIM往往不是要取代GPU/TPU这样的主力计算单元,而是作为其高效的协处理器或内存子系统增强存在。它的目标是处理那些“数据搬运量远大于计算量”的粗重活,让主力计算单元能更专注于其擅长的、计算密集型的张量运算。
4. 开发者的挑战与上手建议
听起来很美好,但作为一个想尝试PIM的开发者或架构师,现实之路可能布满荆棘。PIM目前仍处于从实验室走向产业的早期阶段,和成熟的CPU/GPU开发体验相比,差距不小。
第一个大坑是编程模型和工具链的缺失。 你现在写CUDA或者PyTorch,有成熟的编译器、调试器、性能分析工具。但PIM芯片,每家公司的架构都不一样,有的像协处理器,有的像智能内存。你可能需要学习一套全新的指令集,或者一种特定的领域专用语言(DSL)来描述哪些计算应该offload到PIM上执行。更麻烦的是,如何自动、智能地将一个标准的神经网络模型,切分成适合CPU、GPU和PIM分别执行的部分,这需要编译器的深度优化,而这方面的开源生态几乎为零。
第二个挑战是算法与硬件的协同设计。 PIM,尤其是模拟存内计算,对算法并不“友好”。它可能只高效支持特定的数据格式(如低位宽定点数)、特定的操作(如乘加)。你可能需要为了适配一块特定的PIM芯片,去重新设计或量化你的神经网络,牺牲一些精度来换取能效。这要求算法工程师和硬件工程师必须紧密合作,而不是像现在这样,算法工程师几乎可以不关心底层硬件。
那么,作为开发者,现在该如何入手或关注PIM呢?
- 从仿真和评估开始:不要一开始就想找硬件。多家研究机构和公司(如惠普、清华大学等)都开源了PIM架构的仿真器,比如用于模拟RRAM交叉阵列的。你可以先用这些工具,将你的算法映射上去,从理论上评估其能效和精度损失。这能帮你快速判断PIM对你的应用是否有价值。
- 关注抽象层和中间表示:业界正在努力建立PIM的软件抽象层,比如试图将PIM作为一种特殊的“计算单元”纳入到像MLIR这样的编译器基础设施中。关注这些开源项目的发展,理解其设计思想,比死磕某一家公司的私有SDK更有长远价值。
- 深入理解数据流:这是PIM优化的核心。对你现有的AI应用做彻底的数据流分析,画出数据在各级存储(硬盘->内存->缓存->寄存器)间移动的轨迹。找出那些“数据搬运/计算”比值极高的“热点”函数或算子。这些点,就是未来PIM最能发挥威力的地方。
- 保持开放,区分场景:不要指望PIM是“银弹”。对于控制密集型、逻辑复杂的任务,CPU依然无可替代;对于高度规则、计算密集的张量运算,GPU/TPU在相当长时间内仍是王者。PIM的杀手锏在于数据密集型、访存受限的任务。明确你的场景到底属于哪一类。
PIM技术的成熟,必然是一个硬件、软件、算法、生态共同演进的长周期过程。它不会一夜之间取代现有架构,但会作为一种关键的异构计算单元,逐渐渗透到从边缘到云端的每一个算力角落。作为开发者,早一点了解其原理和边界,就能在下一波架构变革浪潮来临时,更从容地握住手中的桨。
642



被折叠的 条评论
为什么被折叠?



