32、深度学习中的卷积神经网络与深度信念网络

深度学习中的卷积神经网络与深度信念网络

1. 卷积神经网络（CNN）

1.1 卷积层原理

在图像中，局部值形成的统计信息通常在位置上具有不变性，因此使用共享相同权重的内核可以检测图像中所有局部区域的模式，不同的内核能够从图像中提取不同类型的模式。卷积操作后，通常会应用非线性激活函数（如 ReLu、tanh、sigmoid 等），这些激活值存储在激活图中，并传递到网络的下一层。

1.2 池化层

池化层通常插入在卷积层和后续层之间，其目的是通过指定的池化方法减少输入的维度，同时尽可能保留信息。池化层还能引入空间不变性，有助于提高模型的泛化能力。

池化层使用步长、零填充和池化窗口大小作为超参数，以与卷积层中内核相同的方式扫描整个输入。例如，使用步长为 2、窗口大小为 2 和零填充为 0 进行池化，将使输入维度的大小减半。

常见的池化方法包括平均池化、最小池化以及一些高级池化方法，如分数最大池化和随机池化。最常用的是最大池化，它能有效捕捉不变性，公式为 (A_{i,j,k} = max(R_{i - n:i + n,j - n:j + n,k}))，其中 (A_{i,j,k}) 是第 (k) 个激活图中以索引 (i, j) 为中心、大小为 (n × n) 的矩阵 (R) 的最大激活值。

1.3 全连接层

全连接层是前馈神经网络（FFNN）中的基本隐藏层单元。在传统的 CNN 架构中，通常在倒数第二层和输出层之间添加全连接层，以进一步建模输入特征的非线性关系。然而，最近这种做法受到了质疑，因为它会引入大量参数，可能导致过拟合。因此，越来越多的研究人员开始构建不包含全连接层的 CN