使用扩展SRAM设计的存内计算

2020ISSCC 基于SRAM的存内计算15.5阅读记录 Note:因为只是笔者的阅读记录,所以内容组织上较为混乱! 1、2's complement 此即二补数,是一种用二进制表示有号数的方法,也是一种将数字的正负号变号的方式,常在计算机科学中使用。在中国大陆地区通常称作补码。 一个数字的二补数就是将该数字作位反相计算(即一补数),再将结果加 1,即为该数字的二补数。在二补数系统中,一个负数就是用其对应正数的二补数来表示。 2、ppt图里面的MACV字母下面的12~20代表的意思是,在HMACRB模块输出的值的位宽,当输入激活值与权值都是4bit的 阅读详情

最近的ISSCC上,台积电的研究人员提出了一种基于数字改良的SRAM设计存内计算方案,能支持更大的神经网络.
在这里插入图片描述
上图显示了台积电用于其测试的扩展SRAM阵列配置——阵列的一部分被圈出。每个切片具有256个数据输入,它们连接到“ X”逻辑(稍后将对此逻辑进行更多介绍)。数据输入向量的连续位在连续的时钟周期中提供给“ X”门。每个切片存储256个4位权重段,每个数据输入一个权重半字节。这些权重位使用常规的SRAM单元,因为它们可能会经常更新。存储在每个权重位中的值连接到“ X”逻辑的另一个输入。

下图说明了如何将此逻辑集成到SRAM中
在这里插入图片描述
其中“ X”是2输入或非门,具有数据输入和权重位作为输入。(两个“一位”值的乘积由“与”门实现;通过使用反相信号值和DeMorgan定理,2输入“或非”门在面积和功率方面都具有效率。)在每个限幅之间,有一个加法器树和一个加法器树。集成了部分和累加器逻辑,如下图所示。

在这里插入图片描述
上图中的加权位存储使用常规的SRAM拓扑-对于6T的位单元,加权位字线和位线照常连接。每个单元上的存储值都扇出到或非门的一个输入。

每个切片的输出表示每个权重向量的半字节的部分乘积和。扩展数组之外的其他逻辑提供了移位和相加计算,以实现更宽的权重值表示。例如(有符号或无符号整数)16位权重将合并来自四个条带的累加器结果。

基于 SRAM 的存内计算 存内计算(In-Memory Computing, IMC)是一种新兴的计算范式,它将数据处理和存储集成在同一个芯片上,从而减少数据在处理器和存储器之间的传输,降低功耗并提高计算效率。SRAM因其快速的访问速度和稳定的存储特性,成为实现存内计算的理想选择之一。以下是基于SRAM的存内计算的介绍,包括设计思路、实现挑战、Verilog代码示例,以及未来发展方向。 阅读详情

相关推荐

冲破冯诺伊曼瓶颈:探索存内计算与静态随机存储器(SRAM)性能因素

SRAM技术的发展涉及多个层级的研究,包括电路、架构、系统、软硬件协同,以及整个生态系统的综合考虑。对这些层级进行跨领域的深入研究和全面布局,对于推动SRAM存算一体技术的发展具有至关重要的意义。[7]在如今的发展中,提高SRAM的性能,通过存储单元布局、访问方式、并行性等方面的优化来实现更高的速度、更低的功耗以及更好的可靠性。新型的电路结构和材料的引入,以及对电源电压和操作频率的优化,都是在这一领域上不断进行的探索。

tutututu12345678的博客 2416

SRAM的深度H计算

一、单位换算 1 Byte = 8 Bits(即 1B=8b) 1 KB = 1024 Bytes 1 MB = 1024 KB 1 GB = 1024 MB 二、基本概念 Bit意为“位”或“比特”,是计算机运算的基础,属于二进制的范畴。 Byte意为“字节”,是计算机文件大小的基本计算单位。 这两者应用的场合不同。通常用bit来作数据传输的单位,因为物理层,数据链路层的传输对于用户是透明的,而这种通信传输是基于二进制的传输。 在应用层通常是用byte来作单位,表示文件的大小,在用户看来就是

Grady 6315

基于SRAM的线性可扩展多比特存内计算架构解析

存内计算是一种旨在突破传统冯·诺依曼架构“内存墙”瓶颈的新型计算范式。其核心原理是将计算单元嵌入到存储器阵列中,直接在数据存储位置执行运算,从而消除数据在存储与计算单元间频繁搬运带来的巨大能耗与延迟。这种模拟计算方式通过利用存储器单元的物理特性(如电容电荷、电阻状态)实现高并行度的乘累加操作,在能效和吞吐量上展现出巨大潜力。其技术价值在于为人工智能推理、边缘计算等对功耗和实时性要求严苛的场景提供了硬件加速新思路。然而,早期存内计算方案多局限于处理低精度或二值数据,难以满足复杂模型对高精度的需求。本文深入剖析

weixin_30335353的博客 617

晶圆级SRAM存内计算架构突破LLM内存墙

存内计算(CIM)技术通过将计算逻辑嵌入存储阵列,有效解决了传统冯·诺依曼架构中的内存墙问题。SRAM作为关键存储介质,凭借纳秒级访问延迟和超低能耗特性,成为大语言模型(LLM)推理加速的理想选择。晶圆级集成方案通过分布式部署和层级化硬件架构,将SRAM容量提升三个数量级,同时采用令牌级流水线技术显著提高计算效率。这些创新在人工智能计算领域具有重要应用价值,特别是在处理大规模参数模型时,能实现数倍的吞吐量提升和能耗降低。

weixin_33692284的博客 351

基于SRAM存内计算的Transformer Softmax硬件加速方案解析

在AI模型推理,尤其是Transformer架构中,Softmax函数因其涉及指数运算、高动态范围输入和全局规约,常成为计算瓶颈,导致显著的延迟和功耗。存内计算作为一种新兴范式,旨在打破冯·诺依曼架构的“内存墙”,通过在数据存储单元(如SRAM)内部直接进行计算,从根本上减少数据搬运开销,从而大幅提升能效比。其技术价值在于为边缘计算、物联网设备等对功耗敏感的场景提供了高效的硬件加速可能。CIMple方案正是这一思路的典型实践,它创新性地采用LUT分割技术,在标准SRAM阵列中高效近似Softmax的指数计算

weixin_30662937的博客 276

存内计算技术:ReRAM与SRAM混合架构优化

存内计算(Computing-in-Memory, CiM)是一种突破传统计算架构限制的创新技术,通过在存储单元内部直接完成计算操作,显著减少数据搬运带来的功耗和延迟问题。其核心原理是利用存储器的物理特性(如电阻或电荷状态)实现并行计算,特别适合神经网络中的矩阵运算。技术价值体现在能效提升上,例如在AI加速器中可实现一个数量级以上的性能优化。应用场景包括Transformer模型的全连接层和自注意力层,其中ReRAM(阻变存储器)和SRAM(静态随机存储器)的混合使用成为关键解决方案。ReRAM凭借非易失性

weixin_33709219的博客 345

SRAM存内计算:解决AI推理中数据搬运瓶颈的关键技术

存内计算是一种新兴的计算架构范式,其核心原理是将计算单元直接嵌入到存储器内部。这种架构通过消除数据在存储器和计算单元之间的频繁搬运,从根本上解决了传统冯·诺依曼架构面临的内存墙问题。在技术价值方面,存内计算特别适用于AI推理场景中的乘加运算(MAC),能够显著提升计算并行度和能效比。对于SRAM存内计算而言,其应用场景主要集中在移动端、物联网和边缘设备上的实时AI任务,这些场景对功耗和延迟有严格要求。通过将权重固定在SRAM阵列内部,输入数据可以直接在位线上完成乘加运算,这种设计大幅减少了数据搬运带来的功耗

weixin_26905423的博客 236

SRAM存内计算:突破AI芯片能效瓶颈的关键技术解析

存内计算是一种新兴的计算架构范式,其核心原理是通过在存储器内部直接完成计算操作,从根本上解决传统冯·诺依曼架构的数据搬运瓶颈。这种技术通过重新设计SRAM单元和外围电路,使其能够在保持数据存储功能的同时执行矩阵乘法等AI核心运算,从而大幅提升能效。在AI芯片领域,存内计算的价值主要体现在能够实现10-100倍的能效提升,特别适合边缘AI推理和物联网终端等能效敏感场景。随着AI模型规模不断扩大,SRAM存内计算通过支持INT4/INT8低精度推理,并与7nm、5nm等先进制程相结合,为突破内存墙提供了切实可行

weixin_34133829的博客 395

8T SRAM存内计算架构解析与性能优化

存内计算(In-Memory Computing)技术通过将计算单元直接嵌入存储器阵列,有效解决了传统冯·诺依曼架构中的内存墙问题。8T SRAM作为当前研究热点,相比传统6T结构增加了读写路径分离设计,显著提升了存储单元稳定性和运算可靠性。该架构支持MAC运算和全系列逻辑运算,在神经网络加速和边缘计算等场景展现出独特优势。通过分析8T SRAM单元结构、阵列设计和关键电路实现,深入探讨了其在能效比、运算速度和功能全面性方面的技术突破,为AI加速和实时信号处理提供了高效解决方案。

weixin_30378623的博客 423

从SRAM到ReRAM:主流存内计算芯片怎么选?一篇讲透优缺点与选型指南

本文深入分析了从SRAM到ReRAM的主流存内计算芯片技术路线,详细比较了SRAM、DRAM、NOR Flash和ReRAM在精度、能效比、工艺节点和量产成熟度等方面的优缺点。针对语音处理和视觉识别等端侧应用场景,提供了具体的芯片选型指南和实战避坑建议,帮助硬件工程师和技术决策者根据实际需求选择最适合的存内计算芯片方案。

weixin_29234423的博客 202

8T SRAM存内计算架构:突破冯·诺依曼瓶颈

存内计算(In-Memory Computing)是突破传统冯·诺依曼架构性能瓶颈的关键技术,通过在存储单元中直接执行计算任务,大幅降低数据搬运能耗。8T SRAM作为实现载体,相比传统6T结构具有更高稳定性和并行处理能力。其核心原理是通过电荷共享实现乘累加运算,并衍生出多种逻辑运算功能。这种架构特别适合AI边缘计算和物联网设备,能显著提升神经网络加速器的能效比。8T SRAM通过分离读写路径优化了操作稳定性,支持更低的供电电压和更高的噪声容限,为存算一体芯片设计提供了硬件基础。

weixin_35294091的博客 646

SRAM存内计算加速器的数据流优化与MIREDO框架实践

存内计算(CIM)技术通过直接在存储阵列中执行矩阵运算,有效突破传统架构的'内存墙'瓶颈。基于SRAM的CIM加速器利用6T存储单元结构,在65nm工艺下实现35.6TOPS/W的能效比。然而多核架构下的数据流优化面临并行约束、模式切换开销等挑战。MIREDO框架创新性地采用混合整数规划建模,通过分层硬件抽象和灵活因子分解算法,在ResNet-18等典型网络中实现2.1-3.2倍的EDP降低。该技术特别适用于边缘计算场景,在1W功耗限制下使推理速度提升2.3倍。

weixin_30279671的博客 353

基于 SRAM 和 NVM 的存内计算技术【学习与总结】

SRAM(静态随机存取存储器)在存内计算技术中的应用展示了显著的潜力和挑战。基于SRAM的存内计算通过整合数据存储和计算功能,减少了数据传输延迟,提升了计算速度,并且功耗较低。其核心优势在于高存取速度和集成度,适用于中小算力、端侧设备如可穿戴设备和边缘计算等场景。在逻辑运算方面,SRAM通过修改存储单元结构,实现了逻辑与非(NAND)、逻辑或非(NOR)等操作,进一步提高计算效率。研究者提出了创新架构,如8T和10T SRAM单元,以改善传统6T SRAM单元的缺陷,提供更高的噪声容限和稳定性。

一键难忘的博客 6028

论基于电压域的SRAM存内计算技术的崭新前景

这篇文章总结了冯·诺伊曼架构及其在处理数据密集型应用中所面临的性能和能耗问题。为了应对这一挑战,文章介绍了存内计算技术,其中重点讨论了基于电压域的SRAM存内计算技术。在冯·诺伊曼架构中,存储器和处理器之间频繁传输大量数据,导致性能瓶颈。为解决这个问题,存内计算技术被提出,其核心思想是将计算单元整合到存储器中,实现数据在存储和计算之间的直接传输,从而提高数据处理效率和降低能耗。特别关注了基于电压域的SRAM存内计算技术,这一技术利用SRAM存储单元的电压变化来实现计算功能。

一键难忘的博客 4513

SRAM存内计算技术综述.docx

SRAM存内计算技术综述.docx

SAM2与Docker的完美组合:5分钟搞定Linux环境下的图像分割部署

本文详细介绍了如何在Linux环境下通过Docker快速部署SAM2图像分割模型,解决安装过程中的常见问题。文章提供了从镜像选择、CUDA版本匹配到容器构建的全流程指南,特别针对GPU加速环境下的'cudnn_frontend: No execution plans support the graph'等报错提供了实用解决方案,帮助开发者在5分钟内完成高效部署。

fern8的博客 934

UFS 3.1协议分析(第一至四章) -- UFS概述

Contents协议规范规范参考术语和定义简单概述通用特性接口特性功能特性 协议规范     UFS3.1协议规定了UFS电气接口和存储器件的特性以及系统架构。 特性:低功耗、高数据吞吐量、低电磁干扰、大容量存储器子系统效率的优化 电气接口:使用基于MIPI M-PHY的高级差分接口;M-PHY作为物理层,MIPI UniPro作为链路层,二者结合形成UFS接口的互联。 架构模型:参考 INCITS T10(SCSI) SAM 标准,命令协议基于 INCITS T1

Frank_sample的专栏 1万+

WSL2迁移后用户名不见了?一招教你快速恢复Ubuntu22.04默认用户

本文针对WSL2迁移后Ubuntu 22.04默认用户名丢失的常见问题,提供了详细的诊断与修复方案。通过分析迁移底层逻辑,指导用户使用`ubuntu2204.exe config --default-user`命令或配置`/etc/wsl.conf`文件快速恢复用户身份,并涵盖权限修复、冲突解决及自动化迁移脚本等进阶内容,确保子系统迁移后环境完整可用。

web39explorer的博客 559

MATLAB与ROS联合仿真——订阅ROS消息类功能模块介绍

MATLAB与ROS联合仿真——订阅ROS消息类功能模块介绍 (1)输入参数:无 (2)输出参数:Xr和Yr是小车当前在世界坐标系下的坐标 (3)主要作用:作为ROS与MATLAB的通讯接口,从ROS中订阅小车当前的位置信息,并输出 (4)内部结构: (5)具体实现过程:通过ROS工具箱中的Subscribe模块从ROS中订阅话题/gazebo/link_statesa 通过Bus Selector模块选择ROS总线中的Pose

慕羽★的博客 2699

华为 MetaERP 通过元数据驱动的多组织架构 + 内部交易协同 + 自动对账引擎 + 合并规则引擎,实现多组织内部往来与合并报表的全流程自动抵消,核心是源头标准化、过程自动化、结果可追溯

摘要: 华为MetaERP通过元数据驱动的多组织架构与主数据标准化,实现内部往来与合并报表全流程自动化。其核心包括:统一组织模型与主数据(确保数据口径一致)、内部交易协同(自动生成对称凭证)、智能对账引擎(多维度自动匹配差异)、合并规则引擎(配置化抵消模板)。依托GaussDB高性能数据库与流批一体架构,华为全球88家子公司合并报表效率提升400%,关账时间缩短至2小时,支持多准则、多币种自动抵消,审计全程可追溯。相比传统ERP,MetaERP在协同性、自动化与扩展性上优势显著,为跨国集团提供高效、准确的合

金牌架构师 265

使用 MATLAB/Simulink 对一个开关磁阻电机进行建模

*开关磁阻电机(Switched Reluctance Motor, SRM)**是一种新型的无刷电机,以其简单的机械结构、宽广的调速范围和较高的效率在工业应用中得到了广泛关注。SRM的独特之处在于其定子和转子均为凸极结构,并且通过改变绕组电流的方向来实现转矩的产生和控制。本教程将详细介绍如何使用对一个开关磁阻电机进行建模,并探讨其基本控制策略,特别是针对双凸极结构的SRM。本文介绍了如何使用构建一个开关磁阻电机的双凸极结构模型,并探讨了其基本控制策略。

amy_mhd的博客 203

Android 中 app freezer 原理详解(二):S 版本

在之前的两篇博文《Android 中app内存回收优化(一)》和《Android 中app内存回收优化(二)》中详细剖析了 Android 中 app 内存优化的流程。这个机制的管理通过 CachedAppOptimizer 类管理,为什么叫这个名字,而不叫 AppCompact 等?freezer,一个针对应用进程长期处于 Cached 状态的优化。在之前博文《app freezer 原理 R 版本》

私房菜 3614

CAPL学习之路-关键字

在capl中,关键字具有特殊的含义和用途,因此,不得将关键字用作变量或函数的名称 声明数据类型的关键字 可以用不同的关键字,声明或引用不同类型的数据 byte 声明一个字节的变量 word 声明两个字节的变量 dword 声明四个字节的变量 int 声明两个字节的整数 long 声明四个字节的变量 qword 声明八个字节的变量 char 声明一个字符串 float 声明一个浮点数,8个字节 double 声明一个浮点数,8个字节 定义一个结构体或枚举类型 struct struct Data { .

jasonj333 6111

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: everspin代理并行MRAM存储芯片MR5A16A
下一篇: 低功耗SDRAM提供了多种选择改善待机功耗
NETSOL
博客等级 码龄6年 35粉丝 154原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值