特定领域加速器:机器学习与自动机处理的创新方案
1. 基于ReRAM的机器学习加速方案
在机器学习加速领域,ReRAM(阻变随机存取存储器)展现出了巨大的潜力。PipeLayer是一种基于ReRAM的内存计算架构,专门用于CNN(卷积神经网络)训练。在ReRAM交叉阵列中,其数据映射方式与ISAAC类似,将一个滤波器的权重映射到一列(位线)。PipeLayer引入了一种训练流水线策略,将一张图像在各层的计算视为流水线的一个阶段,从而实现多张图像在不同层的并行处理。此外,还使用了一些内存阵列来缓冲CNN训练中复杂数据依赖所需的中间结果。
FPSA提出了一种灵活的ReRAM内加速器,具备可重构的路由架构和布局布线工具。FloatPIM则支持浮点值的全数字内存计算,能够实现高精度的训练,同时通过在内存块之间插入开关优化数据传输。
还有一些基于ReRAM的内存DNN(深度神经网络)加速芯片的研究。它们采用类似的权重和输入映射策略,但权重采用2 - 3位、输入采用1 - 2位的低精度评估,并且使用较小的DNN模型或数据集,如MNIST。
除了ReRAM,还有其他类型的非易失性存储器被用于ML加速,包括相变存储器(PCM)、自旋转移矩磁性随机存取存储器(STT - MRAM)和铁电随机存取存储器(FeRAM)。不同类型的NVM各有优缺点,例如STT - MRAM主要用于具有二进制权重或激活的ML模型,因为在其单元中存储多位具有挑战性;基于PCM的架构在训练任务中能耗较高,因为训练需要大量的数据写入,而PCM的写入能耗相对较高。
| 存储器类型 | 适用场景 | <
|---|
超级会员免费看
订阅专栏 解锁全文
39

被折叠的 条评论
为什么被折叠?



