14、新兴神经网络内存计算技术剖析

新兴神经网络内存计算技术剖析

1. 引言

近年来，深度神经网络（DNNs）在各类任务中展现出了高精度的优势。然而，这些网络对计算和内存的需求极高，随着神经网络规模的不断扩大，传统的冯·诺依曼加速器面临着内存墙的挑战。内存内处理（PIM）加速技术被广泛研究，它有潜力满足上述需求，进一步加速相关应用并适应未来的可能需求。接下来，我们将深入探讨基于PIM的DNN加速器的现状、挑战和未来可能性。

2. 内存技术

2.1 易失性内存

长期以来，为计算过程提供存储空间的主要内存单元是易失性内存。易失性内存只有在供电时才能保留数据，最常见的易失性内存包括动态随机存取存储器（DRAM）和静态随机存取存储器（SRAM）。
- SRAM ：一个SRAM单元由两个晶体管和另外四个晶体管组成两个交叉耦合的反相器，用于存储单个位。与DRAM相比，SRAM具有较低的访问时间和较高的性能，因为DRAM的访问晶体管阈值电压非常高。然而，SRAM被认为是一种昂贵的内存，在数字芯片中占据大量面积，并且会产生较大的芯片总泄漏电流。在先进技术中，降低电源电压（VDD）可以降低泄漏电流，但会减少位单元SRAM的存储电容，并引入软错误率（SER）。此外，与非易失性内存（NVM）相比，SRAM缺乏高功率效率，在高温下读取延迟更高。SRAM单元常被用作执行乘加（MAC）操作的主要内存单元。
- DRAM ：目前，在设计AI加速器并需要内存存储时，DRAM是最流行的内存类型。它的设计简单，由一个晶体管和一个存储电容组成。由于对大量高密度内存的需求，DRAM被用作主要的片外内存。DRAM单元的成本低于SRAM