卷积神经网络的高效处理与压缩编码技术
1. 卷积神经网络的近内存处理技术
在卷积神经网络(CNNs)的处理中,能耗问题一直是关注焦点。近内存处理技术能够有效降低能耗,其核心原理是减少片外数据移动,并在内存中或靠近内存的位置进行计算。
- eDRAM技术 :嵌入式动态随机存取存储器(eDRAM)技术将高密度DRAM置于加速器芯片上,实现更快的执行速度和最小的内存延迟。它的密度约为标准SRAM的2.85倍,能效比DDR3内存高321倍。不过,与标准DRAM内存相比,eDRAM的成本较高。
- 3D内存技术(HMC) :3D内存技术,即混合内存立方体(HMC),将DRAM堆叠在芯片顶部,相较于标准2D内存架构,能提供更高的带宽,实现更好的性能。借助近内存计算和更高的DRAM带宽,单位时间内的数据传输量增加,传输延迟降低,从而提高了处理单元(PE)的利用率和计算吞吐量。像Neurocube和Tetris等应用就采用了HMC技术,实现了更快、更节能的CNN推理。
- 内存内处理 :另一种实现更快、更节能CNN推理的方法是内存内处理。由于CNN推理需要进行乘法累加(MAC)操作,将涉及MAC的简单计算直接放到内存中进行,可消除数据移动的需求,显著降低能耗。例如,Zhang等人通过在SRAM阵列中直接集成使用二进制权重(+1和 -1)的MAC操作,与标准的1b SRAM单元读取相比,实现了12倍的节能。但这种方法因使用二进制权重,会影响CNN的准确性。
下面通过一个表格对比传统架构和近内存处理架构:
| 架构类型 | 计算位置 | 数据传输开销 | 计算负载分配
超级会员免费看
订阅专栏 解锁全文
2566

被折叠的 条评论
为什么被折叠?



