9、卷积神经网络加速技术的评估与架构分析

卷积神经网络加速技术的评估与架构分析

在资源受限的边缘设备上部署卷积神经网络（CNN）推理面临着诸多挑战，其中权重数据量过大是一个关键问题。本文将详细探讨CNN加速技术的评估结果、流行架构以及近期的发展。

1. 5位CNN权重的算术编码与解码评估

在资源受限的系统或设备中，采用不同数量解码单元（DU）的解码器会产生不同的延迟和资源使用情况。
- 延迟与资源使用权衡
- 2 - DU、4 - DU和8 - DU设计所需的硬件资源远少于16 - DU设计，适合小型或微型嵌入式边缘设备。但DU数量越少，解码延迟开销越高，进而增加CNN推理延迟。
- 以AlexNet为例，4 - DU和8 - DU解码器在无剪枝情况下的性能开销分别可达34.2%和8.73%，有剪枝时分别可达31.4%和2.77%。2 - DU解码器在无剪枝和有剪枝时的延迟开销分别高达126.1%和108.0%。
- 不同的CNN加速器也会影响延迟开销。例如，[114]中的CNN加速器使用8位精度，其压缩比不如5位精度加速器，导致传输延迟较高。在8 - DU和16 - DU情况下，传输和解码延迟可被CNN层处理时间掩盖；但2 - DU和4 - DU时则无法掩盖，产生较大延迟开销。而[112]中相对解码时间开销虽大，但绝对推理延迟影响可忽略不计。边缘系统设计者可根据系统性能要求和资源限制选择合适的DU数量。
| 组合CNN加速器 | 基线（ms） | 2 - DU（ms） | 4 - DU（ms） | 8 - DU（ms） | 16 - DU（ms） |
| — | — | — | — | — | — |
| [112] | 8.83