21、卷积神经网络基础与ShallowNet实战

卷积神经网络基础与ShallowNet实战

1. 卷积神经网络特性概述

卷积神经网络（CNNs）在图像识别等领域有诸多重要特性。

1.1 旋转与缩放不变性

• 旋转方面 ：CNN并非天然具有旋转不变性。例如，当看到旋转 -45 度的“9”时，若训练集中存在类似小角度旋转的“9”，CNN 中学习到该旋转状态“9”特征的滤波器会使神经元激活。但只有当训练数据涵盖 360 度全范围旋转的数字时，CNN 才是真正的旋转不变。
• 缩放方面 ：滤波器本身不具备缩放不变性，但 CNN 很可能学习到一组在不同尺度模式下都会激活的滤波器。我们还可以在测试时以不同尺度和裁剪方式呈现示例图像，然后对结果求平均，以此帮助 CNN 实现缩放不变。

1.2 平移不变性

CNN 在平移不变性上表现出色。滤波器在输入上从左到右、从上到下滑动，遇到特定边缘、角落或颜色块时会激活。在池化操作中，大响应会被选中，“击败”其相邻响应。所以，CNN 不关心激活具体位置，只关注是否激活，从而自然地处理了平移问题。

2. 卷积神经网络的构成与原理

2.1 卷积与深度学习

卷积和互相关在深度学习文献中常被互换使用。传统图像处理需手动定义内核，且针对特定任务（如平滑、边缘检测等）。而深度学习可学习这些滤波器，将其堆叠以自动发现高级概念，这就是 CNN 的组合性。

2.2 网络层结构

CNN 由一系列层堆叠而成，各层负责特定任务：
-