18、Phantom：用于稀疏CNN的高性能计算核心

Phantom：用于稀疏CNN的高性能计算核心

在深度学习领域，卷积神经网络（CNN）的计算效率一直是研究的重点。尤其是在处理稀疏数据时，如何高效地进行计算成为了关键问题。本文将介绍一种名为Phantom的高性能计算核心，它在处理稀疏CNN时具有显著的优势。

现有方法的局限性

在深入了解Phantom之前，我们先来看看现有的一些方法及其存在的问题：
- Tensaurus ：通过引入压缩交错稀疏切片（CISS）数据流来加速密集和稀疏张量分解，但只能支持单边稀疏性。
- 稀疏GEMM加速器 ：如Extensor和Sigma使用输出固定（内积）数据流进行稀疏矩阵乘法。然而，内积在处理高度稀疏矩阵时效率低下，因为即使有效计算（非零×非零）较少，也必须遍历行和列的每个元素，导致大量计算浪费。
- SpArch和OuterSPACE ：使用输入固定（或外积）数据流来避免内积数据流的低效问题。但外积的输出重用性较差，因为生成的部分输出数量多于最终输出，可能导致显著的内存流量。
- MatRaptor ：引入通道循环稀疏行（C2SR）数据流以提高重用性和内存效率。它是CSR格式的改进版本，但需要对输出矩阵进行复杂的编码。
- SCNN、SparTen和Eyeriss v2 ：能够利用全双边稀疏性，但存在一些问题，如微架构效率低下、不支持全连接（FC）层和非单位步长卷积、PE设计复杂以纳入压缩稀疏列（CSC）压缩格式，或存在系统性负载不平衡。

Phantom