23、卷积网络：原理、架构与应用

卷积网络：原理、架构与应用

1. 分层网络

1.1 生物视觉

在生物视觉中，外界光线被视网膜中的光感受器捕获。这些细胞的激活可以看作是输入图像的一种表示。简单来说，初级视觉皮层（V1）由接收来自视网膜连接的细胞组成。每个V1细胞只与视网膜的一部分相连，因此通常认为这个阶段的神经元对输入具有局部视野。

Hubel和Wiesel的实验表明，V1主要由两种类型的细胞组成：简单细胞和复杂细胞。简单细胞对特定方向和位置的刺激做出反应，而复杂细胞对特定方向的刺激做出反应，但允许位置偏移。研究还提出，在V1及后续阶段存在一种层级结构，随着远离眼睛，神经元偏好的刺激复杂度会增加，在腹侧通路的末端，细胞会对诸如人脸等高度复杂的刺激进行调谐。这些发现催生了实现层级模板匹配的视觉模型，即模式通过具有逐渐更复杂特征的单元层，且特征位置的特异性逐渐降低，后续阶段的特征由早期阶段的特征构建而成。

1.2 新认知机

新认知机是受上述生物假设启发的早期模式识别模型之一，它是之前提出的认知机的进化版本，认知机仅包含简单细胞的概念。新认知机利用了上述工作原理，并且针对图像数据进行了优化，因此能够从少量典型示例中进行良好的学习和泛化。虽然它主要基于无监督学习，但为卷积网络的监督式深度学习方法提供了起点。

与常见的全连接网络不同，新认知机中的所有单元都具有局部视野，这对应于生物神经元中的感受野概念。新认知机通过将局部特征集成到更全局的特征中，逐步从输入层减少信息，直到输出层对输入进行分类。每个转换由两个不同的步骤组成：第一步使用S细胞（类似于简单细胞）用先前学习的模板表示信息，从而减少信息；第二步使用C细胞（类似于复杂细胞）对信息进行模糊处理，以允许位