13、大规模并行神经处理阵列（MPNA）架构解析

大规模并行神经处理阵列（MPNA）架构解析

1. 异构脉动阵列（SAs）

1.1 提出背景

基于相关观察，为了处理给定网络中不同类型的层，提出利用两种不同的脉动阵列，即异构脉动阵列，分别是专门加速卷积（CONV）层的SA - CONV和加速全连接（FC）层的SA - FC。

1.2 卷积层脉动阵列（SA - CONV）

• 设计原理 ：采用SA设计来利用权重、输入激活和部分和（输出激活）的重用。
• 数据流程 ：
  • 每个处理元素（PE）从其左侧相邻的PE接收输入激活，从顶部相邻的PE接收权重和部分和，并将生成的部分和传递给其底部相邻的PE。
  • 阵列最左侧的PE从输入激活缓冲区接收输入，最顶部的PE从权重缓冲区接收权重。
  • 生成的部分和由最底部的PE传递到累加块。
• 优化策略 ：
  • 同一滤波器（或神经元）的权重映射到阵列的同一列。
  • 需要与同一输入激活相乘的权重映射到并行列，以最大化激活和权重的重用。
  • 引入额外的寄存器来保存正在用于MAC操作的权重，同时将新权重移动到各自的位置，显著减少权重加载的初始化时间。

1.3 全连接层脉动阵列（SA - FC）

• 提出原因 ：