10、可重构流处理器用于卷积神经网络

可重构流处理器用于卷积神经网络

1. 引言

随着深度学习范式在数据分析和认知推理中的广泛应用，实时视频分析和情境意识等应用对边缘计算提出了更高的要求。传统GPU虽然在训练阶段表现出色，但在边缘计算环境下并不适合，因为它们需要大量的数据批处理才能实现高性能和能效，并且缺乏确定性的执行模式。因此，需要一种新型的定制硬件平台来加速边缘设备上的卷积神经网络（CNN）推理。本章将介绍一种新颖的可重配置架构，用于在边缘设备上实时低功耗执行卷积神经网络。

2. 背景与动机

2.1 卷积神经网络中的数据访问类型

卷积神经网络（CNN）是既需要大量内存又需要大量计算的应用程序，通常会重用中间数据，并持续进行数百万次的并行操作。卷积神经网络中的主要数据类型有以下两种：

1. 二维权重矩阵 ：每个二维权重矩阵对应一个单独的通道，多个通道的权重矩阵组合在一起构建整个卷积核。多个卷积核形成一层，多层构成网络拓扑。
2. 帧像素 ：这是通过网络拓扑流动的数据，与权重矩阵类似，帧像素也是二维矩阵，具有多个通道。

2.2 GEMM与直接卷积的区别

通用矩阵乘法（GEMM）是将卷积操作转换为矩阵乘法的方法，它通过重新排列输入图像像素来实现。然而，这种方法在边缘计算中存在显著的内存成本问题。直接卷积则是通过滑动窗口的方式，在输入图像的二维窗口上进行点乘和累加（MAC）操作。直接卷积在边缘计算中的优势在于其能够以流式方式处理数据，减少内存占用和功耗。