16、深度学习卷积神经网络详解

深度学习卷积神经网络详解

1. 引言

卷积深度学习神经网络（ConvNet, CNN）是最受认可且最流行的深度学习神经网络。它不仅深度足够，而且准确快速。“卷积神经网络”这一术语常被视为“深度学习神经网络”的同义词。CNN 源于 Yann LeCun 及其同事 1989 年的研究成果以及 La - Net 算法。它的灵感来自生物视网膜模型、Fukushima 的 Cognitron 和 Neocognitron，其计算采用反向传播算法。

CNN 采用离散时间形式的卷积积分，卷积函数（滤波器）是特定（3D）数值体积（参数）的算法形式。最初，CNN 是为视觉/成像（2D/3D）应用而开发的，如今在这些领域仍然功能强大且应用广泛。不过，Hinton 等人表明，它在语音和自然语言处理中同样有效，这也为其他应用领域打开了大门。

尽管 CNN 有许多变体，但我们将介绍一种大致遵循广泛使用的 LeNet 5 的形式。Krizhevsky、Sutskever 和 Hinton 在 2012 年设计的 CNN，基于 LeNet 架构，但堆叠了多个卷积层，赢得了当年的 ImageNet 挑战赛。

2. 前馈循环

2.1 基本结构

CNN 的结构基于与图像识别相关的设计。对于其他应用，需要将输入重新构建为输入特征图（FM）。CNN 前馈循环各部分的主要元素如下：
- 特征图（FM） ：在图像处理和大多数其他应用中，它是输入向量、矩阵或张量，在每个 CNN 阶段通过卷积进行处理。
- 卷积层 ：数量通常较多，取决于问题的维度和复杂度。卷积通过