1、卷积神经网络加速器：历史、挑战与应用

卷积神经网络加速器：历史、挑战与应用

1. 引言

深度学习神经网络（DNNs）推动了人工智能（AI）在众多现代应用中的发展，如自动驾驶、图像识别和语音处理等。在很多应用场景中，DNNs已经达到了接近人类水平的准确率，甚至在某些方面超越了人类。这种高准确率源于DNNs能够通过统计学习，从大量训练数据中自动提取高级特征，并随着时间不断改进。这与早期由领域专家手动设计特定特征进行特征提取的方法截然不同。

卷积神经网络（CNNs）作为DNNs的一种，在计算机视觉任务中应用最为广泛。相较于多层感知器（MLP）、循环神经网络（RNNs）、长短期记忆网络（LSTM）等其他类型的DNNs，CNNs的应用更为普遍。它的出现彻底改变了计算机视觉领域，使许多计算机视觉应用得以普及。CNNs的应用领域涵盖了图像和视频识别、推荐系统、图像分类、图像分割、医学图像分析、目标检测、活动识别、自然语言处理、脑机接口以及金融时间序列预测等。

DNN/CNN的处理通常分为训练和推理两个阶段，每个阶段都有不同的计算需求。训练阶段是使用大量特定于应用的数据集对DNN模型进行训练，训练时间取决于模型大小和目标准确率要求。对于像自动驾驶这样对准确率要求极高的应用，训练一个DNN模型可能需要数周时间，并且通常在云端进行。而推理阶段则可以在云端或边缘设备（如移动设备、物联网设备、自动驾驶车辆等）上进行。如今，在许多应用中，在边缘设备上进行推理具有诸多优势。例如，在手机上直接进行图像和视频处理，而非将数据发送到云端，这样可以降低通信成本和数据传输的延迟，还能避免因网络中断或连接丢失而导致重要设备功能丧失的风险。此外，将包含图像和视频的个性化数据发送到云端服务器进行处理存在日益增加的安全风险，这也是在设备上进行推理的一个重要原因。