13、稀疏CNN加速器的最新进展与原位解压卷积加速器设计

稀疏CNN加速器的最新进展与原位解压卷积加速器设计

1. 稀疏CNN加速器的最新进展

1.1 矩阵乘法方法概述

矩阵乘法是许多新兴应用中常用的操作，现有的矩阵乘法方法主要有内积法、外积法和按行乘积法。其中，按行乘积法具有以下优点：
- 无需进行索引匹配。
- 不需要用于存储部分结果的大容量片上内存。
- 不需要按列访问操作数矩阵，有利于利用局部性。

1.2 内积法相关架构

• SparTen架构 ：采用内积法，引入了带位掩码的高效内连接（标记非零元素位置）以识别无效操作，还采用了基于排序的贪婪负载均衡技术用于处理单元（PE）。
• SIGMA架构 ：同样基于内积法，引入了点积引擎（Flex - DPE），利用树状拓扑和前向加法器网络支持灵活互连，采用基于位图的格式作为压缩数据格式，但仅加载的操作数矩阵采用压缩格式，流矩阵采用密集格式。

然而，内积法固有地需要索引匹配（或内连接），这对于具有成本效益的硬件设计和实现来说并不理想。

1.3 外积法相关架构

• SpArch架构 ：采用外积法进行稀疏矩阵乘法，使用压缩矩阵表示法压缩行中的非零元素，利用基于霍夫曼树的调度器，在生成部分结果矩阵时，先生成非零元素较少的矩阵，以提高内存使用效率并减少内存带宽需求。
• SPAGHETTI架构 ：也采用外积法，输入矩阵和输出矩阵使用不同的压缩格式（输入矩