8、高效能神经形态计算中的学习与经典深度神经网络

高效能神经形态计算中的学习与经典深度神经网络

1. 三元权重网络与量化策略

1.1 三元权重网络概述

三元权重网络为传统全精度神经网络和极度压缩的二值化网络提供了一种中间解决方案。它在硬件人工神经网络（ANNs）中提供了更高效的选择，并且启发了大量的节能加速器。

1.2 训练三元量化策略

为了进一步提高突触权重的熵，引入了训练三元量化策略。其基本思想是为兴奋性和抑制性突触使用不同的缩放因子，这两个缩放因子可以通过学习获得。通过允许正权重和负权重具有不同的幅度，这种方法比原始的三元权重网络性能提高了3%。

1.3 网络数据量化研究重点及随机量化

许多关于网络数据量化的研究主要集中在推理阶段。例如，在二值化网络中，尽管最终的权重和激活只有1位精度，但仍需要全精度梯度来进行学习。为了加速学习过程，在学习阶段也采用了降低精度的概念。与推理时间参数使用的确定性量化策略不同，学习中通常需要随机量化，以确保随机梯度下降（SGD）学习过程能够正确收敛。直观地说，随机量化的作用类似于数字信号处理中广泛使用的抖动信号，有助于消除量化噪声的数据依赖性。

2. 经典深度神经网络示例

2.1 LeNet - 5

LeNet - 5是最早的深度神经网络之一，由LeCun等人开发，用于对MNIST数据集进行分类。其输入特征经过卷积层、池化层和非线性激活生成精炼特征，最后通过全连接层形成分类器。该网络使用28×28的输入图像、5×5的滤波器和2×2的池化层，其主要动机是避免在图像的前几层使用全连接层，因为全连接层会忽略图像和音频中的固有空间或时间结构。通过利用输入的这种结构