基于SRAM的方法可加速AI推理

使用扩展SRAM设计的存内计算 最近的ISSCC上,台积电的研究人员提出了一种基于数字改良的SRAM设计存内计算方案,能支持更大的神经网络. 上图显示了台积电用于其测试的扩展SRAM阵列配置——阵列的一部分被圈出。每个切片具有256个数据输入,它们连接到“ X”逻辑(稍后将对此逻辑进行更多介绍)。数据输入向量的连续位在连续的时钟周期中提供给“ X”门。每个切片存储256个4位权重段,每个数据输入一个权重半字节。这些权重位使用常规的SRAM单元,因为它们可能会经常更新。存储在每个权重位中的值连接到“ X”逻辑的另一个输入。 下图说明了如何 阅读详情

一种新颖的深度学习加速器。专用单元定义了一个SRAM,该单元可以处理矩阵乘法,量化,存储以及推理处理器所需的其他工作。

在Spice仿真中,当使用8位整数数学识别手写数字时,该设计可提供100兆次操作/秒/瓦(TOPS / W)。它的计算密度可以击败Google的TPU一个数量级。

该设计是使用内存中计算方法的加速器产品线中最新的一种。设计使用40纳米NOR闪存单元的深度学习处理器,其目标是为监视摄像机等设备使用低功耗芯片。

设计时使用了很少的模拟电路,因此可以扩展到精细的工艺节点。它可能成为低功耗处理器中引擎(从边缘到云)的引擎。
在这里插入图片描述
独特的方式操纵SRAM单元以处理深度学习任务

这个设计使用户可以为从权重到神经网络层甚至单个神经元的所有内容创建自定义参数。这种灵活性可以使将来设计用于训练处理器的设计成为可能。但是尚无用于对该设计进行编程的软件堆栈,可能会在以后解决或留给将来的客户使用。

存算一体化(PIM)技术解析:从原理到AI应用实践 本文深入解析存算一体化(PIM)技术原理及其在AI领域的应用实践。通过对比SRAM、DRAM、RRAM和NOR Flash等主流存储介质的特点,探讨PIM如何突破传统架构的'内存墙'限制,显著提升AI训练和推理效率。文章还分享了数据流重构、混合精度训练等实战技巧,为开发者提供有价值的参考。 阅读详情

相关推荐

亚马逊自研AI芯片Graviton与Inferentia技术解析

异构计算架构通过整合通用处理器与专用加速器,显著提升特定工作负载的执行效率。其核心技术原理在于根据计算特征进行硬件级优化,例如AWS Inferentia采用多核异构设计实现80%的推理成本降低。在AI加速领域,这种架构尤其适合大规模模型部署和边缘计算场景,亚马逊Graviton与Inferentia的组合已成功应用于95%的推荐系统。通过专用编译器Neuron SDK和Nitro虚拟化系统,开发者可以快速实现从GPU到自研芯片的迁移,典型场景如ResNet50推理可获得3倍吞吐量提升。

weixin_42554042的博客 349

SRAM 学习(1)

明确需要,CIM(Computing In Memory)需要什么样子的SRAM。

qq_50761108的博客 1236

从零到一:手把手教你为ESP32-S3定制轻量化AI模型

本文详细指导如何为ESP32-S3微控制器定制轻量化AI模型,涵盖模型架构选择、量化优化及硬件部署等关键步骤。通过实战案例展示如何将AI模型高效部署到资源受限的嵌入式设备,提升边缘计算能力,并实现低功耗高性能的AI应用。

o5p6q的博客 309

小学生也能听得懂的大模型 - Transformer 1

参考 [小学生也能听得懂的大模型 Transformer 1]

2401_85325557的博客 1739

基于 SRAM 的存内计算助力实现节能 AI

本期内容介绍有关功耗的相关问题。随着AI模型的复杂性和规模的不断增长,相应的功耗问题也逐渐凸显。在这个背景下,存内计算技术成为降低AI系统功耗的重要解决方案之一。本文将深入探讨基于SRAM(静态随机存取存储器)的存内计算,旨在详细解释存内计算如何助力降低AI功耗,并深入探讨SRAM是如何在这一技术中发挥关键作用的。

tutututu12345678的博客 1204

SRAM计算内存架构:AI加速器的能效革命

计算内存(Computing-in-Memory)技术通过打破传统冯·诺依曼架构的存储墙瓶颈,将计算单元嵌入存储阵列,大幅降低数据搬运能耗。SRAM-based CIM作为主流实现方案,采用动态逻辑门和时序控制技术,在28nm工艺下已实现27.38TOPS/W的能效。其核心技术包括差分位线设计、混合信号处理电路和稀疏性处理架构,能有效解决模拟域计算的信号完整性挑战。在边缘AI推理场景中,相比传统ASIC方案可获得2.5倍的能效提升。随着FinFET工艺演进和工具链完善,SRAM-CIM在GNN加速、混合精度

weixin_33676492的博客 564

体系结构研究者眼中的神经网络硬件

背景 神经网络硬件是计算机体系结构、人工智能和神经科学等多学科深度融合、交叉的一个领域,是利用专门的硬件电路对神经网络算法进行处理。二十世纪八九十年代,国内外曾掀起一阵研究神经网络硬件的热潮。但是由于整个智能领域的研究陷入低潮,神经网络硬件的研究也趋于停滞。近年来,计算机体系结构、人工智能应用出现了一些新的趋势,神经网络硬件加速器又重新回到工业界和学术界的视野。 计算机体系结构:暗硅 自计算机诞生以来,性能不断提升的处理器芯片使人类处理和计算大规模数据的能力不断增强,强大的计算能力也推动着其他学科的不

AS7062031的博客 2781

MX3深度解析:SRAM内存计算如何重塑边缘AI推理

边缘AI落地过程中,算力与功耗的平衡始终是选型的关键难题。传统AI芯片受限于冯·诺依曼架构,数据在存储与计算单元之间频繁搬运,导致功耗高、效率低。存内计算技术通过在存储阵列内部直接完成乘累加运算,为解决这一瓶颈提供了全新思路。MX3加速器正是这一理念的商用化代表,其采用SRAM数字域内存计算架构,单芯片提供24 TOPS int8算力,四芯片组合可达96 TOPS,整卡功耗控制在10瓦左右。对于工业质检、智慧零售等视觉场景,MX3在能效比、系统成本和无DRAM设计上展现出独特优势。本文从技术原理、产品定位到

weixin_29845919的博客 270

AI推理性能优化:从内存带宽瓶颈到晶圆级架构的2500倍加速解析

在AI推理场景中,单纯堆算力往往难以带来线性性能提升,内存带宽与显存容量反而更容易成为瓶颈。大模型在解码阶段需要反复读取权重与KV cache,当batch较小时,GPU算力闲置而数据搬运开销凸显,这正是推理速度下降的关键原因。理解预填充与解码的差异、掌握量化与上下文控制手段,并合理利用Ollama、vLLM等推理引擎,可显著优化部署效率。Cerebras晶圆级架构通过将大量SRAM置于计算核心旁,缩短了数据搬运路径,在长上下文小batch下实现了最高2500倍的推理加速。这一数字背后,本质是内存组织方式对

weixin_33875564的博客 373

114、NPU的Esperanto ET-SoC-1:千核RISC-V AI芯片

摘要:Esperanto ET-SoC-1是一款采用1096个RISC-V核心(1088个小核+8个大核)的AI芯片,通过细粒度并行和片上网络(NoC)优化数据流,解决传统NPU因DDR带宽瓶颈导致的性能问题。其定制化ET-Minion核精简了浮点单元,通过vmac指令实现高效INT8运算,兼顾低功耗(100W)与高算力。编程模型采用数据流图而非多线程,需手动管理SRAM与NoC通信。实战中,优化数据布局和NoC利用率可使ResNet-50推理达28fps。开发者需注意核数分配、RISC-V生态兼容性及散热

m0_50546716的博客 14

ece529-sram:SRAM单元的Spice仿真

ECE 529 - SRAM

晶圆级架构如何突破内存墙,让AI推理性能飙升?

在AI推理性能优化中,我们常遇到一个矛盾:计算单元算力很强,但数据搬运却拖了后腿。这种由“内存墙”造成的瓶颈,让GPU/TPU在多卡并行时面临高延迟与低吞吐的挑战。理解推理速度的本质,需要从访存带宽、数据复用和通信距离入手。晶圆级架构通过将海量计算核心与片上SRAM集成于同一硅晶圆,从物理上缩短了数据搬运路径,大幅降低跨片通信成本,尤其在处理memory-bound的大模型生成式任务时表现突出。无论是推理服务选型还是自建集群,评估新硬件时都应关注任务类型与瓶颈所在。晶圆级架构的价值不在于简单的峰值算力碾压,

keke1314520的博客 410

c# U盘禁用---守护进程(插入,拔出,卸载等操作)

一、简介 传统的对U盘禁用,我们多采用修改注册表的方式,详情参考:https://blog.youkuaiyun.com/qq_25372599/article/details/79815407;本文将介绍一种其他的方式–后台守护程序。其原理非常简单:当守护程序检测到U盘的插入信号,我们自动卸载U盘,致使系统无法识别U盘,达到禁用U盘的效果。 二、程序设计 2.1 变量定义 strin...

星星之火燃亮码空 2848

Atelier of Light and Shadow与STM32CubeMX协同开发:嵌入式AI实践

本文介绍了如何在星图GPU平台上自动化部署📜 灵感画廊 · Atelier of Light and Shadow镜像,实现嵌入式端轻量级视觉理解。该镜像专为资源受限设备优化,可实时分析图像明暗关系与阴影结构,典型应用于工业光照自检、农业叶面受光评估及互动光影装置等边缘AI场景。

weixin_33610780的博客 310

PSCAD学习笔记(1)Project Settings(重点snapshot设置)

若不勾选,则横坐标为实际时间2-7s,故障显示在第3s发生。图片中时间坐标轴显示为0-5s,故障时刻显示为第1s,即0-1s展示系统稳态,1-5s展示系统发生故障后的暂态响应,如何通过快照文件实现?勾选该项后,使用快照文件启动仿真会将仿真起始时间强制设置为0s,反之不勾选则依据快照文件保存的时间轴继续(即坐标为实际时间)。如果已有的快照文件保存的是0s至5s的仿真内容,则仿真运行时间从5s开始,到10s结束。如果已有的快照文件保存的是0s至2s的仿真内容,则仿真运行时间从2s开始,到7s结束;

gwenh的博客 7348

VOSviewer文献可视化006:修改节点标签文字

由VOSviewer软件生成的可视化图形所显示的文字是小写的,有时候,我们希望其所显示的数据(如国家或作者的首字母等)能够以大写的方式呈现,这时可以进行对节点标签文字的修改操作,使图形显示我们想要的一个效果。

qq_41725964的博客 6153

基于STM32CubeMX的LiuJuan20260223Zimage边缘部署指南

本文介绍了如何在星图GPU平台上自动化部署LiuJuan20260223Zimage镜像,实现高效的边缘AI计算。该镜像专为STM32嵌入式设备优化,支持图像识别等应用,可快速部署到智能摄像头、工业检测等边缘场景,显著提升设备端的实时推理能力。

weixin_35516624的博客 102

vhr 微人事系统安装与部署教程(SpringBoot + Vue 项目实战)

vhr(微人事)是一个开源的人力资源管理系统项目。系统采用前后端分离架构,主要技术栈包括:后端:MyBatis前端:VueElement UIAxios数据库:MySQL系统通常包含以下模块:员工管理部门管理职位管理薪资管理权限管理系统管理整体功能已经接近企业级后台系统。vhr(微人事)是一个非常经典的开源人力资源管理系统项目,基于SpringBoot + Vue 前后端分离架构。系统包含:员工管理部门管理权限管理薪资管理。

m0_69484557的博客 488

Gemma-3-270m在STM32嵌入式系统上的轻量化部署

本文介绍了如何在星图GPU平台上自动化部署Gemma-3-270m轻量化语言模型,并将其应用于STM32嵌入式系统。该方案使开发者能够为智能家居等设备快速集成本地自然语言处理能力,实现语音指令识别和交互功能,显著提升边缘AI部署效率。

weixin_42591413的博客 239

QGis二次开发 —— 5.2、基于qgis搭建离线地图服务并开发雷达扫描、无人机飞行跟踪等(附:源码及工程)

QGis二次开发 —— 5.2、基于qgis搭建离线地图服务并开发雷达扫描、无人机飞行跟踪等(附:源码及工程)

226

Android 13.0 开机启动优化之PMS扫描apk耗时相关功能优化

在android13.0的系统rom定制化开发中,在系统中开发产品时,会根据客户要求内置第三方app,这时如果内置app过多,或者安装的app过多,在系统开机的过程中 在pms扫描安装app的时候,就会比较耗时,这时候就需要优化下pms扫描安装app这块的功能代码,用多线程来实现pms扫描安装app,来加快开机时间,接下来 来实现这个功能

安卓兼职framework和app工程师的博客 1335

数字与模拟存内计算:原理、对比与选型指南

在传统计算架构中,数据在处理器与存储器之间的频繁搬运导致了显著的能耗与延迟瓶颈,这一问题被称为“内存墙”。存内计算作为一种新兴范式,旨在将计算单元嵌入存储阵列或利用存储单元的物理特性直接进行计算,从而从根本上减少数据移动。其核心原理是通过“计算靠近数据”来突破能效限制,尤其适用于人工智能推理、科学计算等数据密集型任务。目前主要存在数字与模拟两条技术路线:数字存内计算基于标准逻辑门,追求高精度和设计灵活性;模拟存内计算则利用欧姆定律等物理特性实现大规模并行模拟运算,追求极致能效。两者在精度、能效、面积和设计复

weixin_42538175的博客 222

Python 爬虫实战:豆瓣 / IMDB 电影数据抓取(评分 + 剧情 + 演员阵容结构化处理)

在数据为王的时代,电影数据是进行市场分析、推荐系统构建和学术研究的重要资源。豆瓣和 IMDB 作为国内外最具影响力的电影评分和资讯网站,包含了海量高质量的电影数据。本文将带领你从零开始,构建一个健壮的 Python 爬虫,用于抓取豆瓣和 IMDB 的电影信息,并将其中的非结构化数据(如剧情简介、演员列表)进行清洗和结构化处理,最终存储到便于分析的结构化文件(如 CSV)中。

yansideyucsdn的博客 957

Qwen模型的批量推理与推理加速

本文介绍了如何使用FlashAttention2工具对Qwen开源大模型进行推理加速和显存优化。FlashAttention通过利用GPU的SRAM高速缓存减少对低速HBM存储器的访问,采用Tiling技术分解注意力矩阵,显著提升Transformer模型的推理效率。文章详细说明了安装步骤:首先确保CUDA、PyTorch版本兼容,然后通过pip或源码安装FlashAttention2。测试表明,开启FlashAttention后,Qwen模型在批量推理时能显著提升速度并降低显存占用。虽然Windows系统

峰哥的专栏 1664

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Maia 200 技术拆解:微软云端 AI 推理加速器的设计取舍

作为微软 Maia GPU 系列的第二代产品,Maia 200这款芯片从一开始就被明确定位为面向 AI 模型推理的专用加速器,而非通用训练 GPU。

weixin_50197960的博客 1236

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

上一篇: SRAM中晶圆级芯片级封装的需求
下一篇: 使用高速SPI Nor Flash的FPGA配置
NETSOL
博客等级 码龄6年 35粉丝 154原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值