19、新兴神经网络的高效硬件加速

新兴神经网络的高效硬件加速

1. 卷积层相关技术

在神经网络中，不同类型的卷积层有着各自独特的特点和应用场景，下面为您详细介绍几种常见的卷积层。

1.1 分组卷积层

分组卷积的概念最初在AlexNet中被提出，目的是将工作分配到多个GPU上，引入模型并行性。后来在ResNeXt等模型中，它还被证明能提高分类准确率。

• 标准卷积与分组卷积的成本对比 ：

  • 标准卷积：假设输入通道数为IC，输出通道数为OC，滤波器尺寸为FX * FY，那么标准卷积的总成本为IC * OC * FX * FY。
  • 分组卷积：以分组大小为2为例，将滤波器分为两组，第一组滤波器（g0）与输入的前IC/2通道卷积，第二组滤波器（g1）与输入的后IC/2通道卷积。此时总成本为(g0 * IC/2 * FX * FY) + (g1 * IC/2 * FX * FY)，是标准卷积成本的一半。分组卷积的总节省通常是分组数的一个因子。

• 设计考虑 ：

  • 并行性 ：分组卷积可以并行化，可将每个组作为一个单独的任务，在AI加速器的多个NNP实例上并行运行。
  • 输出拼接 ：当不同组在同一NNP上按时间顺序运行时，如果NNP具有连续/背靠背操作模式，拼接会更简单；若在多个NNP上运行，需要一个代理执行收集任务来拼接输出。