存算一体化(PIM)技术解析:从原理到AI应用实践

陈巍:存算一体芯片技术及其最新发展趋势 相关推荐 陈巍谈芯:7.2 RRAM模拟存内计算 《先进存算一体芯片设计》节选https://zhuanlan.zhihu.com/p/474261353 陈巍谈芯:存算一体技术是什么?发展史、优势、应用方向、主要介质(收录于存算一体芯片赛道投资融资分析)https://zhuanlan.zhihu.com/p/480612865 陈巍谈芯:7 分析实战:Hopper架构——《GPGPU 芯片设计:原理与实践》节选https://zhuanlan.zhihu.com/p/487250706 ■作者: 阅读详情

1. 存算一体化的核心原理:为什么说它是AI计算的“救星”?

如果你玩过大型3D游戏,肯定遇到过这种情况:显卡(GPU)性能明明很强,但游戏加载场景时还是会卡顿,硬盘灯狂闪。这背后的罪魁祸首,就是数据搬运太慢了。CPU/GPU(计算单元)需要的数据,都存放在内存(存储单元)里,每次计算都要像蚂蚁搬家一样,把数据从内存搬到计算单元,算完再搬回去。这个过程,就是我们常说的“冯·诺依曼瓶颈”。

在AI时代,这个问题被无限放大。一个大型的神经网络模型,比如GPT-3,参数动辄上千亿个。训练它的时候,这些参数和中间计算结果需要在内存和GPU之间来回搬运无数次。我实测过一个视觉模型训练任务,发现超过70%的能耗和超过60%的时间,都花在了数据搬运上,而不是真正的计算上。这就像你请了一个世界级的大厨(GPU),但他90%的时间都在厨房和仓库之间跑来跑去拿食材(数据),真正炒菜的时间少得可怜。

存算一体化(Processing in Memory, PIM) 的思路,就是给“仓库”装上“灶台”。它不再把存储和计算分开,而是直接在存储数据的物理单元内部,或者紧挨着存储单元的地方,集成计算逻辑。当数据被读取出来的瞬间,计算就同步完成了,彻底避免了长距离、高能耗的数据搬运。

我们可以用一个更生活的类比来理解:传统架构就像传统的图书馆,书(数据)都放在书架上(内存),你要看书(计算),得走到书架前取书,再回到座位(CPU)上阅读。而PIM架构,相当于在每一个书架旁边都配了一张书桌和一位图书管理员。你想看某本书,管理员直接在书架旁就帮你把重点划出来、把摘要写好(完成计算),你拿到手的已经是处理好的信息。

从技术实现上看,PIM主要分为两大流派:

  • 存内计算(Computing in Memory):这是最“激进”也最理想的方式。它直接利用存储单元本身的物理特性(比如电阻、电容的变化)来完成模拟计算,特别是乘加运算。比如,利用忆阻器(RRAM)的电阻值代表权重,输入电压代表输入数据,根据欧姆定律和基尔霍夫定律,输出的电流自然就是乘加的结果。这种方式能效比极高,但精度控制、工艺成熟度是挑战。
  • 近存计算(Near-Memory Computing):这种方式相对“温和”一些。它没有改变存储单元本身,而是在存储阵列(比如DRAM Bank)的旁边或内部,集成专门的计算单元(通常是简单的处理核心或加速器)。数据从存储阵列到计算单元的距离极短,通常只有几毫米甚至纳米级,带宽极大,延迟和功耗相比传统架构有数量级的降低。目前很多已发布的PIM芯片都采用这种思路。

无论是哪种方式,PIM的核心目标都是一致的:让数据尽可能地原地不动,让计算主动靠近数据。这对于数据密集型的AI应用来说,无异于一场架构革命。它解决的不仅仅是“算得快”的问题,更是“算得省”的问题,这对于从手机、耳机等终端设备,到数据中心服务器,都有着颠覆性的意义。

2. 技术实现与存储介质之争:SRAM、DRAM还是RRAM?

理解了PIM的“为什么”,接下来我们看看“怎么做”。PIM不是一个空中楼阁的概念,它的实现严重依赖于底层的存储介质。不同的介质,就像不同的建筑材料,决定了PIM芯片的性能、能效、成本和适用场景。目前主流的“选手”有三个:SRAM、DRAM和新型非易失存储器(以RRAM为代表)。

2.1 SRAM:追求极致能效的“短跑冠军”

SRAM(静态随机存储器)是CPU缓存的核心材料,它的特点是快。在PIM的语境下,基于SRAM的存算一体芯片,通常走的是“近存计算”路线。它把模拟计算电路(如乘加器)直接嵌入到SRAM存储阵列中。

我接触过一些初创公司的SRAM PIM测试芯片,实测下来感受最深的有两点:

  1. 能效比惊人:对于8比特精度的向量乘加运算,能效比(TOPS/W)可以轻松达到传统GPU架构的10倍以上。这是因为SRAM本身读写速度快,集成计算单元后数据路径极短,静态功耗控制得也很好。
  2. 精度有保障:SRAM是数字电路,基于它做的计算通常是纯数字计算,精度可以做到INT8甚至INT4,与现有AI软件栈兼容性好,不需要复杂的模拟-数字转换和校准。

但SRAM的“阿喀琉斯之踵”是密度低、成本高。一个SRAM单元需要6-8个晶体管,占用面积大。这就意味着,基于SRAM的PIM芯片,很难做出非常大的存储容量(即“算存比”中,“存”的部分受限)。它更像一个“短跑冠军”,适合对延迟和功耗极度敏感,但模型参数量相对不大的场景,比如手机上的实时语音唤醒、耳机的主动降噪、可穿戴设备的心电图分析等终端侧AI。

2.2 DRAM:拥抱海量数据的“马拉松选手”

DRAM(动态随机存储器)是我们电脑内存条的主要成分,它的核心优势是容量大、成本低。一个DRAM单元只需要一个晶体管加一个电容,密度远高于SRAM。

基于DRAM的PIM,目前业界(如三星、SK海力士)主要探索的也是“近存计算”路径。例如,将一些简单的处理核心(称为“可编程计算单元”)直接封装在DRAM芯片内部,或者利用3D堆叠技术,将逻辑芯片(计算层)和DRAM芯片(存储层)垂直堆叠在一起,通过硅通孔(TSV)实现超高带宽互联。

这种方案的优势非常明显:它可以直接利用现有成熟、庞大的DRAM产业生态,面向需要处理海量数据集的场景。想象一下,在推荐系统训练中,需要频繁访问一个几百GB甚至TB级的用户特征表。传统架构下,GPU会反复从内存中抓取这个表,产生巨大的带宽压力。如果使用DRAM PIM,计算单元可以直接在内存内部对这张表进行筛选、聚合等操作,只把最终结果返回给CPU,数据搬运量骤减。

不过,DRAM的缺点是需要定期刷新以保持数据,有额外的刷新功耗,且绝对速度不如SRAM。它适合那些对带宽极度渴求、数据量巨大、但计算相对规整的任务,比如大数据分析、高带宽内存(HBM)场景下的科学计算、部分云端AI训练和推理。

2.3 RRAM:代表未来的“全能潜力股”

RRAM(忆阻器)属于新型非易失存储器。它的原理是通过改变介质层的电阻来存储信息。在PIM领域,RRAM是“存内计算”的天然载体,因为它能在一个物理动作(读/写)中同时完成存储和计算。

它的工作原理非常巧妙:将神经网络的权重映射为RRAM交叉阵列中每个忆阻器的电导值。当输入电压(代表输入数据)施加到字线时,根据基尔霍夫定律,位线上汇聚的电流就是所有电导与电压乘积之和,即一次完整的向量-矩阵乘法。这个过程是模拟、并行、原位完成的,能效比理论上可以达到传统数字芯片的百倍甚至千倍。

我在实验室里见过RRAM存算一体的演示板,做一次图像识别,功耗低到让人难以置信。但现阶段,它离大规模商用还有距离,我踩过的坑主要在这几个方面:

  • 工艺不成熟:RRAM的材料和制造工艺还在迭代中,一致性、良率是巨大挑战。不同器件之间的电导偏差,会直接导致计算误差。
  • 精度与噪声:模拟计算对噪声、漂移非常敏感。如何在高能效的模拟计算和可接受的数字精度之间取得平衡,需要复杂的电路设计和算法补偿。
  • 生态匮乏:整个工具链,从设计、仿真到编译、编程,都处于早期阶段,开发者上手门槛高。

尽管挑战重重,但RRAM代表了PIM最本质、最前沿的方向。它瞄准的是对能效有极端要求的场景,比如物联网终端、植入式医疗设备、边缘智能传感器,以及未来可能出现的、现在无法想象的新应用。

存储介质核心优势主要挑战典型应用场景PIM实现路径
SRAM速度快,能效比高,数字精度易保障密度低,容量小,成本高终端侧AI(语音、视觉轻量模型)、可穿戴设备近存计算 / 存内逻辑
DRAM容量大,成本低,产业生态成熟需刷新功耗,绝对延迟较高云端大数据处理、高性能计算、AI训练(部分)近存计算 / 3D堆叠
RRAM理论能效比极高,结构简单,非易失工艺不成熟,器件一致性差,精度控制难未来超低功耗物联网、边缘计算、新型神经网络加速存内计算(模拟计算)

3. PIM在AI应用中的实战:从终端侧到大算力场景

纸上谈兵终觉浅,PIM技术到底能怎么用?我们分两个战场来看:一个是我们每个人口袋里的手机、耳朵上的耳机(终端侧),另一个是数据中心和自动驾驶汽车(大算力侧)。这两个场景的需求截然不同,PIM给出的答案也各有侧重。

3.1 终端侧AI:让“小设备”拥有“大智慧”

终端侧AI最大的约束就四个字:功耗和续航。你肯定不希望手机的语音助手听你讲一句话,电量就掉1%;也不希望智能手表测个心率,就需要一天一充。传统架构下,哪怕是一个简单的关键词检测(KWS)模型,数据在内存和NPU(神经网络处理器)间的搬运功耗,也常常超过计算本身。

基于SRAM的PIM芯片在这里大放异彩。我参与过一个智能耳机降噪项目的评估,传统方案下,复杂的自适应降噪算法只能在耳机连接手机时,由手机计算。而采用了一颗集成SRAM PIM核的专用音频芯片后,所有计算在耳机端本地完成,延迟从几十毫秒降到几毫秒,降噪效果立竿见影,且耳机单次充电续航提升了近20%。这就是PIM“降功耗”最直接的体现。

另一个典型案例是智能手机的始终感知(Always-On Perception)功能。比如息屏显示、拾音唤醒、低功耗人脸检测。这些功能需要7x24小时运行,对功耗极其敏感。一颗低功耗的SRAM PIM协处理器,可以常驻供电,以极低的代价持续处理传感器数据,只有当检测到有效事件时,才唤醒主处理器,从而大幅提升整体续航。

注意:在为终端设备选型PIM芯片时,不能只看峰值算力(TOPS),更要关注每瓦特算力(TOPS/W) 和每任务能耗。有些芯片峰值算力很高,但为了达到那个算力,功耗也飙升,在终端场景下反而得不偿失。

3.2 大算力场景:打破“内存墙”,解放算力枷锁

到了云端和自动驾驶领域,约束条件变成了带宽和吞吐量。尤其是大模型训练,动辄需要成千上万张GPU卡,这些卡之间、卡与内存之间的数据搬运,构成了整个系统的性能瓶颈和成本中心,这就是所谓的“内存墙”。

基于DRAM的PIM技术,在这里扮演了“带宽解放者”的角色。一种可行的架构是,将PIM单元集成在HBM(高带宽内存)中。GPU可以将一些特定的、数据密集型的操作(如嵌入表查找、梯度聚合、特定的激活函数)下发给HBM内的PIM核去执行。这样一来,原本需要在GPU显存和HBM之间来回搬运的数百GB数据,现在直接在HBM内部消化,GPU只需接收最终结果。根据一些研究论文的模拟数据,这种架构可以将某些训练阶段的整体速度提升30%以上,同时节省可观的通信能耗。

在自动驾驶领域,处理一颗高分辨率激光雷达的点云数据,或者多路摄像头传感器的融合感知,对内存带宽的需求是恐怖的。传统的方案需要将海量的原始传感器数据全部搬运到AI加速器进行计算。而如果采用存算一体架构,可以在传感器接口或预处理单元就近部署PIM核,对原始数据进行初步筛选、压缩和特征提取,只将有效信息送给主AI芯片。这不仅能降低对主干带宽的压力,还能减少后续处理的延迟,对于需要毫秒级响应的自动驾驶来说至关重要。

我个人的体会是,在大算力场景中,PIM往往不是要取代GPU/TPU这样的主力计算单元,而是作为其高效的协处理器或内存子系统增强存在。它的目标是处理那些“数据搬运量远大于计算量”的粗重活,让主力计算单元能更专注于其擅长的、计算密集型的张量运算。

4. 开发者的挑战与上手建议

听起来很美好,但作为一个想尝试PIM的开发者或架构师,现实之路可能布满荆棘。PIM目前仍处于从实验室走向产业的早期阶段,和成熟的CPU/GPU开发体验相比,差距不小。

第一个大坑是编程模型和工具链的缺失。 你现在写CUDA或者PyTorch,有成熟的编译器、调试器、性能分析工具。但PIM芯片,每家公司的架构都不一样,有的像协处理器,有的像智能内存。你可能需要学习一套全新的指令集,或者一种特定的领域专用语言(DSL)来描述哪些计算应该offload到PIM上执行。更麻烦的是,如何自动、智能地将一个标准的神经网络模型,切分成适合CPU、GPU和PIM分别执行的部分,这需要编译器的深度优化,而这方面的开源生态几乎为零。

第二个挑战是算法与硬件的协同设计。 PIM,尤其是模拟存内计算,对算法并不“友好”。它可能只高效支持特定的数据格式(如低位宽定点数)、特定的操作(如乘加)。你可能需要为了适配一块特定的PIM芯片,去重新设计或量化你的神经网络,牺牲一些精度来换取能效。这要求算法工程师和硬件工程师必须紧密合作,而不是像现在这样,算法工程师几乎可以不关心底层硬件。

那么,作为开发者,现在该如何入手或关注PIM呢?

  1. 从仿真和评估开始:不要一开始就想找硬件。多家研究机构和公司(如惠普、清华大学等)都开源了PIM架构的仿真器,比如用于模拟RRAM交叉阵列的。你可以先用这些工具,将你的算法映射上去,从理论上评估其能效和精度损失。这能帮你快速判断PIM对你的应用是否有价值。
  2. 关注抽象层和中间表示:业界正在努力建立PIM的软件抽象层,比如试图将PIM作为一种特殊的“计算单元”纳入到像MLIR这样的编译器基础设施中。关注这些开源项目的发展,理解其设计思想,比死磕某一家公司的私有SDK更有长远价值。
  3. 深入理解数据流:这是PIM优化的核心。对你现有的AI应用做彻底的数据流分析,画出数据在各级存储(硬盘->内存->缓存->寄存器)间移动的轨迹。找出那些“数据搬运/计算”比值极高的“热点”函数或算子。这些点,就是未来PIM最能发挥威力的地方。
  4. 保持开放,区分场景:不要指望PIM是“银弹”。对于控制密集型、逻辑复杂的任务,CPU依然无可替代;对于高度规则、计算密集的张量运算,GPU/TPU在相当长时间内仍是王者。PIM的杀手锏在于数据密集型、访存受限的任务。明确你的场景到底属于哪一类。

PIM技术的成熟,必然是一个硬件、软件、算法、生态共同演进的长周期过程。它不会一夜之间取代现有架构,但会作为一种关键的异构计算单元,逐渐渗透到从边缘到云端的每一个算力角落。作为开发者,早一点了解其原理和边界,就能在下一波架构变革浪潮来临时,更从容地握住手中的桨。

存算一体化(PIM)技术解析:从原理到应用场景 本文深入解析了存算一体化(PIM)技术的原理、优势与核心挑战。PIM通过将计算单元与存储单元深度融合,直接利用存储介质的物理特性进行计算,旨在从根本上突破传统冯·诺依曼架构面临的“内存墙”与“功耗墙”瓶颈。文章详细对比了SRAM、DRAM及RRAM等不同存储介质在PIM中的应用特点,并探讨了其在AI推理、边缘计算、自动驾驶等关键场景的落地前景与挑战。 阅读详情

相关推荐

【存算一体架构实战】二、从冯·诺依曼到存内计算:计算机体系结构的演进之路

摘要:计算机体系结构正经历百年未有的变革,存算一体技术成为突破“内存墙”的必然选择。本文通过可视化时间轴梳理计算架构的5次关键演进:从1945年冯·诺依曼架构确立,到1980年代哈佛架构普及,再到2000年多核革命、2015年内存墙爆发,直至2022年存算一体芯片量产。通过数学公式证明冯氏架构瓶颈的必然性,解析忆阻器发明、交叉阵列计算、UCIe标准三大技术突破的历史意义。提供近存计算(UPMEM SDK)、数字存内(DIVA工具链)、模拟存内(NeuroSim仿真)的实战指南,展示存算一体开发的具体路径。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 642

【硬核科普】存算一体化系统(Processing-in-Memory, PIM)深入解析

存算一体化系统PIM介绍

使者大牙ℂypher的博客 1万+

Python 人工智能实战:深度学习芯片

作者:禅与计算机程序设计艺术 1.背景介绍 近年来人工智能技术的发展已经形成一个令人期待的新时代。如今人工智能已经可以完成各项高级复杂功能的机器学习模型。但是,在实际应用中,深度学习芯片仍然是一个重要的研究课题,因为它能够实现更加复杂的图像识别、语音识别等任务。基于深度学习的机器学习算法将从硬件上进

AI天才研究院 206

Meetup 回顾:存算引擎一体化建设

在大数据与人工智能时代,数据的生成和存储量呈指数级增长。企业面临着如何高效处理和分析海量数据的巨大挑战。在面对如此规模的数据时,数据库究竟该选择存算一体,还是存算分离架构?如何才能提升资源利用率、扩展性,降低运维成本,这是数据从业者都在思考的问题。 在第 20 期 Data Infra 研究社直播活动中,我们邀请到 Databend Labs 联合创始人-吴炳锡、OPPO 存储团队文件系统负责人, CubeFS Maintainer -常亮、OPPO 对象存储研发工程师, CubeFS ObjectSto

Databend的博客 777

vscode配置OpenGL开发环境【详细】

vscode配置OpenGL开发环境【详细】

weixin_43952192的博客 3万+

集成电路模拟版图入门-版图基础学习笔记(四)

第三部分:版图的准备 2. 设计规则 3) Design Rule 2. 设计规则 4) 规则定义 4.1 NW(N WELL) 2. 设计规则 4) 规则定义 4.1 NW(N WELL) 2. 设计规则 4) 规则定义 4.2 PO(Poly) 2. 设计规则 4) 规则定义 4.3 M1(Metal1) 2. 设计规则 4) 规则定义 4.4 VIA 3. DRC文件 3.1 DRC:Design Rule Check,设计规则检查。 3.2 DRC程序了解有关

weixin_52955333的博客 6737

存算一体技术

存算一体技术

吴建明wujianming_110117 3515

树莓派与无人机协同实战:基于OpenCV的地标识别优化策略

本文深入探讨了基于树莓派与无人机的协同系统,重点分享了利用OpenCV优化地标识别以实现精准降落的实战策略。内容涵盖从应对复杂光照的图像预处理、鲁棒的轮廓几何过滤,到通过ROS进行稳定通信,以及实现分层控制与状态机设计,旨在提升系统在真实环境中的可靠性与性能。

y2z3a4b5c的博客 1088

存算一体:架构创新,打破算力极限

在全球数据量呈指数级暴涨,算力相对于AI运算供不应求的现状下,存算一体技术主要解决高算力带来的高能耗成本矛盾问题,有望实现降低一个数量级的单位算力能耗,在功耗敏感的高能耗数据中心、自动驾驶等领域有望发挥其低功耗、低时延、高算力密度等优势。

渡江客涂鸦板 7877

离散数学期末考试试卷(两套)-熟悉题型

3.设集合A={a,b,c,d}上有自反关系R={,,,,},对称关系S={,,,}。6.设集合A={1,2,3},B={u,v,w},C={a,b,c},f是集合A到集合B上的映射,g是集合B到集合C上的映射,f={, , },g={},则复合函数g。5. 设集合A={a,b,c,d,e},下列选项中哪一个集合不是A的划分( )。

muse3159546973的博客 6961

CLAHE 算法学习 matlab

概念可参考: CLAHE (Contrast Limited Adaptive Histogram Equalization)算法学习CLAHE具体实现主要包括6个步骤。1):分块。将输入图像划分为大小相等的不重叠子块,每个子块含有的像素数为M。参考示例为8×8块。 2):计算子块直方图。 3):计算剪切阈值clipLimit 4):像素点重分配。对每个子块,使用步骤三中多余的像素重新分配。 5):直方图均衡。 6):像素点灰度值重构。(源码中采用了双线性插值) http://www.realtimer

baidu_34971492的博客 4256

AI硬件的未来发展方向——存算融合

计算机架构与生物神经网络在底层逻辑上存在根本差异:大脑通过突触连接的物理结构存储和处理信息,而传统计算机依赖冯·诺依曼架构的“计算-存储分离”模式。但随着AI算力需求爆发式增长,尤其是大模型对内存带宽的极致要求,已成为突破“内存墙”瓶颈的核心技术方向。

神棍之路 1869

HTML音乐爱心3D旋转相册完整源码

HTML音乐爱心3D旋转相册完整源码

LilyCoder的博客 1380

PIM技术:从内存计算原理到AI加速实践

内存计算(PIM)技术通过打破冯·诺依曼架构的存储墙瓶颈,在DRAM等内存介质中直接集成计算单元,实现数据原位处理。其核心原理是利用内存内部TB/s级带宽和并行计算单元,将传统计算中90%以上的数据搬运能耗转化为有效运算。该技术特别适合AI推理、数据库扫描等数据密集型场景,典型应用如UPMEM芯片可实现18倍能效提升。随着CXL等新标准的普及,PIM正在从专用加速器向通用计算架构演进,成为解决内存墙问题的关键技术路径。

weixin_34007906的博客 425

避坑指南:新手爬百度图片3个致命错,改完批量保存本地(亲测有效)

新手爬百度图片的核心是“绕开静态HTML,抓准API接口+处理反爬+提取原图”,改完本文提到的3个核心错,就能稳定批量保存高清图片。这套思路可复用在其他图片网站(如必应图片、360图片),只需修改API接口和参数即可。如果想进一步优化,可添加代理IP池、多线程下载(新手不建议,容易触发反爬)、图片去重等功能!

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1587

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

计算存储一体化:突破AI内存墙的下一代芯片架构

计算存储一体化(Computational Storage)是一种面向AI时代数据密集型负载的新型架构范式,其核心在于打破冯·诺依曼架构中存储与计算分离的传统瓶颈,通过存内计算(IMC)、近存计算(PIM)和存算融合等技术路径,在物理层面缩短数据通路、降低搬运能耗与延迟。该技术显著提升能效比与实时性,尤其适用于边缘智能、视频分析、工业传感等对功耗、带宽和低延迟敏感的场景。随着AI模型规模持续增长与终端设备资源受限矛盾加剧,计算存储一体化正从学术探索走向工程落地,成为继GPU/NPU之后的关键AI加速方向。本

weixin_34063855的博客 201

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

北大燕博南:下一代AI芯片— 存内计算的硬核与软着陆 | 报告详解

【专栏:前沿进展】近年来,随着深度学习算法的广泛应用,人工智能方兴未艾,AI相关技术的应用也越来越丰富。伴随着AI发展一起到来的,则是对硬件性能要求的不断提升。时至今日,传统的CPU,甚至...

BAAIBeijing的博客 1811

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

华为CANN架构解析:AI算力优化与开源实践

AI算力优化是提升深度学习效率的核心技术,通过异构计算架构实现CPU、GPU、NPU等硬件资源的统一调度。其技术原理涉及计算图优化、动态负载均衡等关键技术,能显著提升模型训练与推理性能。在工程实践中,这类技术可降低高达40%的功耗,同时提升2倍以上的吞吐量,广泛应用于自动驾驶、NLP等领域。华为开源的CANN框架正是典型代表,其模块化设计支持自动算子融合和混合精度计算,在BERT等模型中实测推理延迟降低60%。对于开发者而言,掌握算力优化技术既能应对AI算力短缺的行业挑战,也是构建高效AI系统的必备技能。

weixin_29054399的博客 204

【计算系列】什么是存算一体技术?

存算一体(Computing-in-Memory, CIM)是一种将计算与存储功能深度融合的架构创新,旨在突破传统冯·诺依曼架构中“存储墙”和“功耗墙”的双重瓶颈。其核心原理是在存储单元内部直接完成数据处理,例如利用忆阻器(RRAM)的电阻特性实现矩阵乘法等运算,从而大幅减少数据搬运带来的能耗和延迟。这种架构模拟了人类大脑神经元“存储即计算”的特性,例如清华大学团队研发的忆阻器存算一体芯片,可在存储阵列中直接完成卷积运算,能效比提升超20倍。存算一体技术通过重构存储与计算的物理关系,正在引发算力革命。

专注:太空算力、AI infra、异构调度、大模型成本工程 2356

AI芯片的未来:超越冯·诺依曼架构的创新探索

本文探讨了AI芯片如何突破传统冯·诺依曼架构的限制,介绍了神经形态芯片、GPU、FPGA、ASIC等主流技术路线的创新进展。重点分析了存算一体化、光子计算和量子混合架构等前沿方向,揭示了AI芯片在能效、并行处理和计算速度上的革命性突破,为未来计算架构的发展提供了新思路。

weixin_28455801的博客 344

云边端一体化架构:计算资源协同与工业实践

云边端一体化是分布式计算架构的重要演进方向,通过将计算任务动态分配到云端、边缘节点和终端设备,实现资源的最优配置。其核心技术原理包括任务卸载、数据本地化处理和分布式协同,能显著降低网络延迟并提升系统可靠性。在工业物联网和智能家居等场景中,该架构已展现出巨大价值,例如将智能家居场景触发延迟从1.2秒降至80毫秒,直播弹幕延迟降低75%。随着5G和AI技术的发展,云边端一体化正在成为实现实时性敏感应用的关键支撑,特别是在工业自动化、智慧城市等领域。

weixin_33146151的博客 275

硬盘详解:从原理、发展历史、分类类型到未来趋势

硬盘详解:从原理、发展历史、分类类型到未来趋势

爱的叹息的专栏 2296

运筹学WebApp实验体系OR-LabX:建模·优化·AI决策一体化框架

图中每个彩色球体对应一个实验室,如“单纯形法”“对偶问题”“灵敏度分析”“最大流”“动态规划”“马尔科夫决策”“纳什均衡”等。通过位置和颜色,可以直观理解:早期基础优化实验集中在LP低AI区,多体博弈和随机系统实验位于高AI区,而动态规划、MDP等多阶段决策模块处于模型复杂性与AI增强的中高区。理解梯度下降、收敛路径与局部最优,建立“通过迭代逼近最优解”的认知。将优化思想应用于“人—货—任务”的匹配问题,理解连续与离散资源分配差异,掌握成本最小化结构。从“问题描述” → “数学建模” → “最优解解释”

Yj9tEMR0B的博客 192

存算一体芯片崛起:重绘大数据处理栈的蓝图

在AI算力需求激增与大数据规模持续扩容的双重驱动下,传统冯·诺依曼架构下“数据搬运-计算”分离的范式已陷入“存储墙”与“功耗墙”的双重瓶颈。存算一体芯片凭借“存储即计算”的核心特性,成为突破这一困境的关键技术路径。本文聚焦CIM(存内计算)、忆阻器等新型硬件,系统剖析其颠覆传统范式的技术逻辑,深入探讨存算一体架构对大数据处理栈的重构机制,并结合实时图计算与推荐系统两大典型场景,阐述其超低功耗与高实时性的实现路径,为大数据领域的硬件革新与架构升级提供技术参考。关键词:存算一体;CIM;忆阻器;大数据处理栈。

2402_84010018的博客 1390
上一篇: 从多项式到指数函数:高斯-勒让德积分的实战应用解析
下一篇: 基于Matlab的比例导引(PNG)算法实现与三维轨迹仿真
tensorflowjs6
博客等级 码龄3年 154粉丝 1495原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值