6、卷积神经网络压缩编码技术：从输入特征图到权重的高效处理

卷积神经网络压缩编码技术：从输入特征图到权重的高效处理

1. 卷积神经网络压缩编码概述

卷积神经网络（CNNs）在众多领域取得了显著成就，但模型参数规模庞大带来了诸多挑战。为解决这一问题，压缩编码技术应运而生，主要分为有损压缩和无损压缩两大类。

1.1 有损压缩

有损压缩常用的技术包括量化和剪枝。量化是在保证CNN精度损失可忽略的前提下，减小权重元素的大小。例如，将CNN中元素的常规单精度浮点（32位）精度，转换为8位整数或16位定点精度，分别可将权重大小缩小4倍和2倍。剪枝则是将接近零的权重元素替换为零值元素，增加权重数据的稀疏性。

1.2 无损压缩

无损压缩涉及基于熵的编码以及适用于稀疏矩阵或张量的其他编码方法。这些方法在不损失数据的前提下，有效减少数据存储和传输所需的空间。

2. 无损输入特征图压缩

2.1 数据传输挑战

尽管通过模型压缩和量化不断减小CNN模型参数大小，但CNN硬件加速过程中，硬件加速器与内存之间通过直接内存访问（DMA）进行的数据传输量仍然巨大。这导致了延迟增加、内存带宽压力增大以及能耗上升等问题，限制了许多当代CNN加速器在资源受限系统（如嵌入式和物联网设备）中的可行性。

2.2 输入特征图压缩方法

为减少硬件加速器与主内存之间的数据传输开销，提出了一种新颖的输入特征图（IFM）压缩方法。该方法利用CNN模型中由修正线性单元（ReLU）激活函数导致的激活稀疏性，在软件端去除IFM中零值元素的传输。

2.2.1 两步输入特征图压缩技术

由于CNN特征图存