使用扩展SRAM设计的存内计算

2020ISSCC 基于SRAM的存内计算15.5阅读记录 Note:因为只是笔者的阅读记录,所以内容组织上较为混乱! 1、2's complement 此即二补数,是一种用二进制表示有号数的方法,也是一种将数字的正负号变号的方式,常在计算机科学中使用。在中国大陆地区通常称作补码。 一个数字的二补数就是将该数字作位反相计算(即一补数),再将结果加 1,即为该数字的二补数。在二补数系统中,一个负数就是用其对应正数的二补数来表示。 2、ppt图里面的MACV字母下面的12~20代表的意思是,在HMACRB模块输出的值的位宽,当输入激活值与权值都是4bit的 阅读详情

最近的ISSCC上,台积电的研究人员提出了一种基于数字改良的SRAM设计存内计算方案,能支持更大的神经网络.
在这里插入图片描述

上图显示了台积电用于其测试的扩展SRAM阵列配置——阵列的一部分被圈出。每个切片具有256个数据输入,它们连接到“ X”逻辑(稍后将对此逻辑进行更多介绍)。数据输入向量的连续位在连续的时钟周期中提供给“ X”门。每个切片存储256个4位权重段,每个数据输入一个权重半字节。这些权重位使用常规的SRAM单元,因为它们可能会经常更新。存储在每个权重位中的值连接到“ X”逻辑的另一个输入。

下图说明了如何将此逻辑集成到SRAM中
在这里插入图片描述

其中“ X”是2输入或非门,具有数据输入和权重位作为输入。(两个“一位”值的乘积由“与”门实现;通过使用反相信号值和DeMorgan定理,2输入“或非”门在面积和功率方面都具有效率。)在每个限幅之间,有一个加法器树和一个加法器树。集成了部分和累加器逻辑,如下图所示。
在这里插入图片描述
上图中的加权位存储使用常规的SRAM拓扑-对于6T的位单元,加权位字线和位线照常连接。每个单元上的存储值都扇出到或非门的一个输入。

每个切片的输出表示每个权重向量的半字节的部分乘积和。扩展数组之外的其他逻辑提供了移位和相加计算,以实现更宽的权重值表示。例如(有符号或无符号整数)16位权重将合并来自四个条带的累加器结果。

基于 SRAM 的存内计算 存内计算(In-Memory Computing, IMC)是一种新兴的计算范式,它将数据处理和存储集成在同一个芯片上,从而减少数据在处理器和存储器之间的传输,降低功耗并提高计算效率。SRAM因其快速的访问速度和稳定的存储特性,成为实现存内计算的理想选择之一。以下是基于SRAM的存内计算的介绍,包括设计思路、实现挑战、Verilog代码示例,以及未来发展方向。 阅读详情

相关推荐

冲破冯诺伊曼瓶颈:探索存内计算与静态随机存储器(SRAM)性能因素

SRAM技术的发展涉及多个层级的研究,包括电路、架构、系统、软硬件协同,以及整个生态系统的综合考虑。对这些层级进行跨领域的深入研究和全面布局,对于推动SRAM存算一体技术的发展具有至关重要的意义。[7]在如今的发展中,提高SRAM的性能,通过存储单元布局、访问方式、并行性等方面的优化来实现更高的速度、更低的功耗以及更好的可靠性。新型的电路结构和材料的引入,以及对电源电压和操作频率的优化,都是在这一领域上不断进行的探索。

tutututu12345678的博客 2416

基于SRAM的线性可扩展多比特存内计算架构解析

存内计算是一种旨在突破传统冯·诺依曼架构“内存墙”瓶颈的新型计算范式。其核心原理是将计算单元嵌入到存储器阵列中,直接在数据存储位置执行运算,从而消除数据在存储与计算单元间频繁搬运带来的巨大能耗与延迟。这种模拟计算方式通过利用存储器单元的物理特性(如电容电荷、电阻状态)实现高并行度的乘累加操作,在能效和吞吐量上展现出巨大潜力。其技术价值在于为人工智能推理、边缘计算等对功耗和实时性要求严苛的场景提供了硬件加速新思路。然而,早期存内计算方案多局限于处理低精度或二值数据,难以满足复杂模型对高精度的需求。本文深入剖析

weixin_30335353的博客 617

晶圆级SRAM存内计算架构突破LLM内存墙

存内计算(CIM)技术通过将计算逻辑嵌入存储阵列,有效解决了传统冯·诺依曼架构中的内存墙问题。SRAM作为关键存储介质,凭借纳秒级访问延迟和超低能耗特性,成为大语言模型(LLM)推理加速的理想选择。晶圆级集成方案通过分布式部署和层级化硬件架构,将SRAM容量提升三个数量级,同时采用令牌级流水线技术显著提高计算效率。这些创新在人工智能计算领域具有重要应用价值,特别是在处理大规模参数模型时,能实现数倍的吞吐量提升和能耗降低。

weixin_33692284的博客 351

基于SRAM存内计算的Transformer Softmax硬件加速方案解析

在AI模型推理,尤其是Transformer架构中,Softmax函数因其涉及指数运算、高动态范围输入和全局规约,常成为计算瓶颈,导致显著的延迟和功耗。存内计算作为一种新兴范式,旨在打破冯·诺依曼架构的“内存墙”,通过在数据存储单元(如SRAM)内部直接进行计算,从根本上减少数据搬运开销,从而大幅提升能效比。其技术价值在于为边缘计算、物联网设备等对功耗敏感的场景提供了高效的硬件加速可能。CIMple方案正是这一思路的典型实践,它创新性地采用LUT分割技术,在标准SRAM阵列中高效近似Softmax的指数计算

weixin_30662937的博客 276

存内计算技术:ReRAM与SRAM混合架构优化

存内计算(Computing-in-Memory, CiM)是一种突破传统计算架构限制的创新技术,通过在存储单元内部直接完成计算操作,显著减少数据搬运带来的功耗和延迟问题。其核心原理是利用存储器的物理特性(如电阻或电荷状态)实现并行计算,特别适合神经网络中的矩阵运算。技术价值体现在能效提升上,例如在AI加速器中可实现一个数量级以上的性能优化。应用场景包括Transformer模型的全连接层和自注意力层,其中ReRAM(阻变存储器)和SRAM(静态随机存储器)的混合使用成为关键解决方案。ReRAM凭借非易失性

weixin_33709219的博客 345

SRAM存内计算:解决AI推理中数据搬运瓶颈的关键技术

存内计算是一种新兴的计算架构范式,其核心原理是将计算单元直接嵌入到存储器内部。这种架构通过消除数据在存储器和计算单元之间的频繁搬运,从根本上解决了传统冯·诺依曼架构面临的内存墙问题。在技术价值方面,存内计算特别适用于AI推理场景中的乘加运算(MAC),能够显著提升计算并行度和能效比。对于SRAM存内计算而言,其应用场景主要集中在移动端、物联网和边缘设备上的实时AI任务,这些场景对功耗和延迟有严格要求。通过将权重固定在SRAM阵列内部,输入数据可以直接在位线上完成乘加运算,这种设计大幅减少了数据搬运带来的功耗

weixin_26905423的博客 236

8T SRAM存内计算架构解析与性能优化

存内计算(In-Memory Computing)技术通过将计算单元直接嵌入存储器阵列,有效解决了传统冯·诺依曼架构中的内存墙问题。8T SRAM作为当前研究热点,相比传统6T结构增加了读写路径分离设计,显著提升了存储单元稳定性和运算可靠性。该架构支持MAC运算和全系列逻辑运算,在神经网络加速和边缘计算等场景展现出独特优势。通过分析8T SRAM单元结构、阵列设计和关键电路实现,深入探讨了其在能效比、运算速度和功能全面性方面的技术突破,为AI加速和实时信号处理提供了高效解决方案。

weixin_30378623的博客 423

SRAM存内计算:突破AI芯片能效瓶颈的关键技术解析

存内计算是一种新兴的计算架构范式,其核心原理是通过在存储器内部直接完成计算操作,从根本上解决传统冯·诺依曼架构的数据搬运瓶颈。这种技术通过重新设计SRAM单元和外围电路,使其能够在保持数据存储功能的同时执行矩阵乘法等AI核心运算,从而大幅提升能效。在AI芯片领域,存内计算的价值主要体现在能够实现10-100倍的能效提升,特别适合边缘AI推理和物联网终端等能效敏感场景。随着AI模型规模不断扩大,SRAM存内计算通过支持INT4/INT8低精度推理,并与7nm、5nm等先进制程相结合,为突破内存墙提供了切实可行

weixin_34133829的博客 395

从SRAM到ReRAM:主流存内计算芯片怎么选?一篇讲透优缺点与选型指南

本文深入分析了从SRAM到ReRAM的主流存内计算芯片技术路线,详细比较了SRAM、DRAM、NOR Flash和ReRAM在精度、能效比、工艺节点和量产成熟度等方面的优缺点。针对语音处理和视觉识别等端侧应用场景,提供了具体的芯片选型指南和实战避坑建议,帮助硬件工程师和技术决策者根据实际需求选择最适合的存内计算芯片方案。

weixin_29234423的博客 202

8T SRAM存内计算架构:突破冯·诺依曼瓶颈

存内计算(In-Memory Computing)是突破传统冯·诺依曼架构性能瓶颈的关键技术,通过在存储单元中直接执行计算任务,大幅降低数据搬运能耗。8T SRAM作为实现载体,相比传统6T结构具有更高稳定性和并行处理能力。其核心原理是通过电荷共享实现乘累加运算,并衍生出多种逻辑运算功能。这种架构特别适合AI边缘计算和物联网设备,能显著提升神经网络加速器的能效比。8T SRAM通过分离读写路径优化了操作稳定性,支持更低的供电电压和更高的噪声容限,为存算一体芯片设计提供了硬件基础。

weixin_35294091的博客 646

SRAM存内计算加速器的数据流优化与MIREDO框架实践

存内计算(CIM)技术通过直接在存储阵列中执行矩阵运算,有效突破传统架构的'内存墙'瓶颈。基于SRAM的CIM加速器利用6T存储单元结构,在65nm工艺下实现35.6TOPS/W的能效比。然而多核架构下的数据流优化面临并行约束、模式切换开销等挑战。MIREDO框架创新性地采用混合整数规划建模,通过分层硬件抽象和灵活因子分解算法,在ResNet-18等典型网络中实现2.1-3.2倍的EDP降低。该技术特别适用于边缘计算场景,在1W功耗限制下使推理速度提升2.3倍。

weixin_30279671的博客 353

基于 SRAM 和 NVM 的存内计算技术【学习与总结】

SRAM(静态随机存取存储器)在存内计算技术中的应用展示了显著的潜力和挑战。基于SRAM的存内计算通过整合数据存储和计算功能,减少了数据传输延迟,提升了计算速度,并且功耗较低。其核心优势在于高存取速度和集成度,适用于中小算力、端侧设备如可穿戴设备和边缘计算等场景。在逻辑运算方面,SRAM通过修改存储单元结构,实现了逻辑与非(NAND)、逻辑或非(NOR)等操作,进一步提高计算效率。研究者提出了创新架构,如8T和10T SRAM单元,以改善传统6T SRAM单元的缺陷,提供更高的噪声容限和稳定性。

一键难忘的博客 6028

论基于电压域的SRAM存内计算技术的崭新前景

这篇文章总结了冯·诺伊曼架构及其在处理数据密集型应用中所面临的性能和能耗问题。为了应对这一挑战,文章介绍了存内计算技术,其中重点讨论了基于电压域的SRAM存内计算技术。在冯·诺伊曼架构中,存储器和处理器之间频繁传输大量数据,导致性能瓶颈。为解决这个问题,存内计算技术被提出,其核心思想是将计算单元整合到存储器中,实现数据在存储和计算之间的直接传输,从而提高数据处理效率和降低能耗。特别关注了基于电压域的SRAM存内计算技术,这一技术利用SRAM存储单元的电压变化来实现计算功能。

一键难忘的博客 4513

数字存内计算与云边端具有广泛的应用场景深度剖析【根据中国移动研究院文献分析总结】

本文介绍了存内计算技术在推理、训练等人工智能任务中的优越性能,以及其在云、边缘和端设备上的应用场景。具体来说,存内计算在提升推理能力、加速训练过程、提高运算效率、降低系统功耗和设备成本方面取得显著成果。数字存内计算技术通过在存储阵列内部集成逻辑计算电路,如与门和加法器,使得存内计算阵列能够同时进行存储和计算操作。以静态随机存储器(SRAM)为例,文章详细解释了数字存内计算的基本原理。在应用场景方面,存内计算在端侧、边侧和云侧都展现出广泛的潜力。

一键难忘的博客 3399

SRAM存内计算技术综述.docx

SRAM存内计算技术综述.docx

华为HCIA-Datacom实战:200人企业园区网从规划到部署全流程解析

本文详细解析了华为HCIA-Datacom认证实战中200人企业园区网的规划与部署全流程。从需求分析、组网架构设计到设备选型、VLAN划分及安全策略实施,全面覆盖园区网建设的关键环节,特别针对部门隔离、无线覆盖和基础安全防护等典型场景提供可落地的解决方案。

f0g1h2的博客 717

Orange Pi 3B+刷入EmuELEC全过程:手把手教程

手把手教你如何在Orange Pi 3B+上成功刷入emuelec系统,涵盖烧录工具、镜像下载到启动设置的完整流程,让复古游戏体验轻松实现。

weixin_35732273的博客 1098

NHANES数据库的介绍及使用(一)

一、数据库概况 NHANES(National Health and Nutrition Examination Survey)是一项旨在评估美国成人和儿童健康和营养状况的研究计划,计划始于20世纪60年代初期,是一项针对不同人群或健康主题的调查。 1999年该调查成为一项持续计划,涉及各种健康和营养测量,项目每年调查一个全国代表性的样本,约5000人,这些人群位于全国各县,每年对其中15个县进行访问。 NHANES访谈部分包括人口统计学、社会经济学、饮食和健康相关问题。体检部分包括生理测量、实验室检查等

Christina 5万+

Transformer实战(2)——循环神经网络详解

循环神经网络 (Recurrent neural networks, RNN) ,RNN 是在文本输入中广泛使用的神经网络。RNN 非常灵活,已被用于解决诸如语音识别、语言建模、机器翻译、情感分析和图像字幕等问题。RNN 利用输入的序列特性,序列输入可以是文本、语音、时间序列以及任何其他元素的出现取决于其前面元素的序列。在本节中,我们介绍了 RNN 及其变体,并学习如何使用 TensorFlow 进行实现。

盼小辉丶的博客 1万+

基于Matlab生成并可视化多架飞机轨迹仿真(附源码)

这使我们可以轻松地对直线和恒定转弯进行建模,并具有额外的自由度,可以在直线段和曲线段之间平滑过渡。同样,空气中的物体会经历重力的影响,遵循抛物线(二次)路径。需要更多的航点来适应这些变化,但是轨迹的其余部分需要更少的点。第三个轨迹,如下所示,代表了一架速度更高的飞机。它由两个恒定的转弯组成,飞机在第二个转弯的中间减速。一旦知道(并设置了)物体穿过空间的物理路径,物体的速度作为行进距离的函数就通过三次埃尔米特插值来确定。在此示例中,学习了内部使用的插值符背后的概念,并展示了如何使用少量航点重现场景。

珞瑜的博客 5466

帝企鹅优化器(EPO)详解:从基础原理到代码实战

帝企鹅优化器(EPO)是受帝企鹅群体在极寒环境中抱团取暖行为启发,于2018年提出的一种群体智能优化算法。其核心机制是模拟帝企鹅种群通过动态调整位置来维持体温的过程,主要包括确定集群边界、计算温度分布、衡量个体间距离以及更新位置四个步骤,从而在求解复杂优化问题时有效平衡全局探索与局部开发。该算法具有参数少、结构清晰、易于实现等优点,在工程优化、图像处理、机器学习特征选择以及冷链物流车辆路径规划等领域展现出良好的应用潜力。

qq_42212808的博客 141

YOLO26小目标检测实战:STAL标签分配+MuSGD优化,VisDrone数据集漏检率降50%

小目标检测是计算机视觉的经典难题,而VisDrone数据集小目标占比极高:数据集中小目标(像素面积<32×32)占比超过60%,且大量目标仅为几个像素,特征信息极度匮乏;背景复杂且干扰多:无人机航拍场景包含建筑物、树木、人群、车辆等复杂背景,小目标易被背景淹没;尺度变化与遮挡严重:同一目标在不同帧中尺度差异大,且小目标极易被其他目标遮挡;传统模型的固有缺陷标签分配策略(如ATSS、SimOTA)偏向大目标,小目标的正样本分配不足,导致模型对小目标不敏感;

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1186

6、深入解析Microsoft 365核心服务对比与迁移策略

本文深入解析了Microsoft 365的核心服务,包括身份和设备管理、现代设备配置体验、Exchange和SharePoint的迁移策略以及Microsoft Teams的协作功能。同时探讨了迁移过程中需要考虑的安全控制措施,为组织规划和实施云迁移项目提供了全面的指导和建议。

k8s6orchestrator的博客 109

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

上一篇: 低功耗SDRAM提供了多种选择改善待机功耗
下一篇: Everspin的MR3A16ACMA35 MRAM替换Fujitsu MB85R8M2T FRAM
NETSOL
博客等级 码龄6年 35粉丝 154原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值