18、新兴神经网络的高效硬件加速

新兴神经网络的高效硬件加速

在神经网络计算中，硬件加速器的使用至关重要。然而，新兴神经网络中的一些特殊层和新型层在现有加速器上的映射和加速存在效率问题。下面将详细介绍这些特殊层和新型层的特点及相应的设计考虑与优化方法。

特殊DNN层的高效映射与加速

对DNN进行分析可知，卷积层的操作总数和执行时间远超其他层之和，因此DNN加速器主要用于加速卷积层。但对于非卷积层（如eltwise层）或具有独特维度和特征的卷积层（如DNN的第一层），大多数加速器效率较低，这些层被称为特殊DNN层。提升它们的效率可显著改善网络整体性能。

1. 第一层
   • 特点 ：作为网络的可见/输入层，有三个通道对应输入图像的红、绿、蓝分量。以ResNet50网络的第一层为例，其激活层维度为224×224×3，权重层维度为7×7×3×64，应用步长参数2后输出层维度为112×112×64，计算该层所需操作数达118,013,952。若该层不能高效映射到加速器，会影响整体网络性能。
   • 设计考虑 ：影响其在NNP上映射的两个主要特征是IC数量有限和数据在内存中的通道优先布局。对于为IC累积构建的NNP，较少的IC会降低第一层处理时MAC的参与数量。可让NNP在激活的较大X或Y维度、滤波器的较高FX或FY维度与IC之间灵活优先选择。通道优先布局增加了输入数据分配的复杂性，需要一个了解第一层内存布局的代理来高效加载到PE阵列，这会增加额外面积，且数据需重新打包以适配典型NNP。可通过对NNP进行额外优化以加速非IC维度，并采用专门的加载方式，同时软件