8、现代神经网络中的卷积与池化层解析

现代神经网络中的卷积与池化层解析

1. 卷积神经网络（CNN）概述

CNN通过将神经元仅连接到上一层的相邻神经元，不仅大幅减少了需要训练的参数数量，还保留了图像特征的局部性。基于这种架构范式，引入了几种新型层，有效利用了多维性和局部连接性。

2. 卷积层

2.1 概念

卷积层是CNN架构的核心，其名称也由此而来。在卷积层中，通过在连接到同一输出通道的所有神经元之间共享相同的权重和偏置，进一步减少了参数数量。这些具有共享权重和偏置的特定神经元可以看作是一个在整个输入矩阵上滑动的单个神经元，其空间连接性有限。在每一步，该神经元仅在空间上连接到其当前正在滑动的输入体积（H × W × D）中的局部区域。

对于一个滤波器大小为（kH, kW）的神经元，其输入维度为kH × kW × D。该神经元的工作方式与之前章节中建模的神经元类似，先对输入值（kH × kW × D个值）进行线性组合，然后对求和结果应用激活函数（线性或非线性函数）。数学上，当呈现从位置（i, j）开始的输入块时，神经元的响应zi,j可以表示为：
[z_{i,j} = f\left(\sum_{h=0}^{k_H - 1}\sum_{w=0}^{k_W - 1}\sum_{d=0}^{D - 1}w_{h,w,d}x_{i + h,j + w,d} + b\right)]
其中，(w)是神经元的权重（即形状为kH × kW × D的二维矩阵），(b)是神经元的偏置，(f)是激活函数（例如，sigmoid）。

对神经元在输入数据上可以占据的每个位置重复此操作，我们可以得到其完整的响应矩阵(z)，其维度为Ho × Wo，其中Ho和Wo分别