8、现代神经网络中的卷积与池化层解析

现代神经网络中的卷积与池化层解析

1. 卷积神经网络（CNN）概述

CNN 通过将神经元仅连接到上一层的相邻神经元，不仅大幅减少了需要训练的参数数量，还保留了图像特征的局部性。基于这种架构范式，引入了几种新型层，有效利用了多维性和局部连接性。

2. 卷积层

2.1 概念

卷积层是 CNN 架构的核心，CNN 也因此得名。在这些层中，通过在连接到同一输出通道的所有神经元之间共享相同的权重和偏置，进一步减少了参数数量。

这些具有共享权重和偏置的特定神经元可以被视为一个在整个输入矩阵上滑动的单个神经元，其空间连接性有限。在每一步，该神经元仅在空间上连接到其当前正在滑动的输入体积（H × W × D）中的局部区域。对于一个滤波器大小为（kH, kW）的神经元，其输入维度为 kH × kW × D，该神经元的工作方式与第一章中建模的神经元类似：先对输入值（kH × kW × D 个值）进行线性组合，然后对总和应用激活函数（线性或非线性函数）。

数学上，当神经元面对从位置 (i, j) 开始的输入块时，其响应 zi,j 可以表示为：（此处原文未给出具体公式）

重复此操作，遍历神经元在输入数据上可以占据的每个位置，我们可以得到其完整的响应矩阵 𝑧，其维度为 Ho × Wo，其中 Ho 和 Wo 分别是神经元在输入张量上垂直和水平滑动的次数。

在实践中，大多数情况下使用方形滤波器，即其大小为 (k, k)，其中 k = kH = kW。为简化解释，后续仅考虑方形滤波器，但需记住其高度和宽度可能会有所不同。

由于卷积层可以有 N 组不同的神经元（即 N 组具有共享参数的