43、深度学习架构：池化与卷积网络详解

最新推荐文章于 2025-12-02 20:45:02 发布

devops8pract

最新推荐文章于 2025-12-02 20:45:02 发布

阅读量61

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习的数学基石文章标签：深度学习池化卷积神经网络

本文链接：https://blog.youkuaiyun.com/devops8pract/article/details/151037225

深度学习的数学基石专栏收录该内容

58 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

深度学习架构：池化与卷积网络详解

1. 池化技术概述

池化是一种机器学习技术，主要用于降低输入数据的维度。在分类问题中，当输入数据的维度过高，与分类类别数量不匹配时，池化就派上了用场。例如，MNIST数据集中，每个输入图像有28×28 = 784个像素，而分类类别只有10个（数字0 - 9）。通过池化操作，可以将图像的维度降低。

1.1 池化过程示例

以MNIST图像为例，池化过程可以分为多个步骤：
1. 第一次池化 ：将28×28的图像划分为14×14个2×2的方块，从每个2×2方块中保留强度最大的像素，得到一个14×14像素的图像。
2. 第二次池化 ：将14×14的图像进一步划分为7×7个2×2的方块，同样保留每个方块中强度最大的像素。

这个过程会不可逆地丢弃一些信息，但可以有效地降低数据维度。

1.2 池化与卷积的结合

池化通常与卷积一起使用。卷积层的作用是过滤输入信号，去除噪声；而池化层则选择过滤后信号特征的大致摘要。两者结合可以提高模型的效率和性能。

1.3 池化的信息关系

池化层的信息S(Y)包含在任意从每个类中任意选择神经元所生成的信息集合S(Xi11, …, XiNN)中，即：
[S(Y) \subset \bigcup_{i_1, …, i_p} \bigcap_{j = 1}^{N} S(X_{i_rj}) = \bigcup_{i_1, …, i_p} S(X_{i_11}, …, X_{i_NN})]

1.4 池化的性质总结

池化是一种降低输入维度的技术。
池化是一种信息收缩器，会不可逆地丢弃信息。
池化通常与卷积一起用于分类问题。

1.5 池化相关练习

以下是一些与池化相关的练习，用于加深对池化概念的理解：
1. 设(Ci)是可测集的集合，证明：
- (S(\bigcup_{i} C_i) \subset \bigcup_{i} S(C_i))
- (S(\bigcap_{i} C_i) \supset \bigcap_{i} S(C_i))
2. 有N = 2n个参与者参加国际象棋比赛，参与者两两对决，每一轮获胜者再与其他获胜者对决，最终获胜者在第n轮产生。请从最大池化过程的角度解释这个过程。
3.
- 证明最小池化情况下的命题15.2.1。
- 为二维函数制定并证明命题15.2.1的一个版本。
4.
- 假设神经网络的所有层都是最大池化层，证明网络的最终输出是最大输入。
- 假设神经网络的所有层都是平均池化层，证明网络的最终输出是输入的平均值。
- 假设神经网络的所有层都是最小池化层，证明网络的最终输出是最小输入。
5. 在神经网络中，一个最大池化层后面跟着一个最小池化层：
- 证明交换这两个池化层的顺序会改变网络输出。
- 如果将最小池化层替换为平均池化层，结果是否仍然成立？

2. 卷积网络基础

卷积神经网络（CNN）是一种前馈神经网络，具有共享权重和稀疏交互的特点，即大多数权重为零。由于参数数量较少，卷积网络比同样大小的全连接层网络更易于训练，并且对性能的影响较小。

2.1 离散一维信号

离散一维信号可以用一个双无限实数序列表示：
[y = […, y_{-2}, y_{-1}, y_0, y_1, y_2, …]]
其中，(y_k)表示在时间(t_k)测量的信号幅度。

信号可以分为以下几种类型：
- 有限信号 ：(\max_k |y_k| < \infty)，即(|y| {\infty} < \infty)。
- L1 - 有限信号 ：(\sum {k = -\infty}^{\infty} |y_k| < \infty)，即(|y| 1 < \infty)。
- 有限能量信号 ：(\sum {k = -\infty}^{\infty} |y_k|^2 < \infty)，即(|y|_2 < \infty)。
- 紧支撑信号 ：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：

2.2 连续一维信号

在连续情况下，信号幅度是时间的连续函数，用(y = y(t))表示。信号的相关定义可以进行如下调整：
- 有限信号 ：(|y| {\infty} < \infty)。
- L1 - 有限信号 ：(|y|_1 = \int {R} |y(t)| dt < \infty)。
- 有限能量信号 ：(|y| 2 = (\int {R} |y(t)|^2 dt)^{\frac{1}{2}} < \infty)。
- 紧支撑信号 ：存在(u \geq 0)，使得对于任意(|t| > u)，有(y(t) = 0)。

滤波器在这种情况下是具有紧支撑的连续函数(w = w(t))，即对于足够大的(|t|)，(w(t) = 0)。卷积信号(z = y * w)定义为：
[z(t) = (y * w)(t) = \int_{R} y(u + t)w(u) du = \int_{R} y(v)w(v - t) dv]

这是连续信号(y)和(w)之间互相关的连续形式。需要注意的是，数学文献中卷积的定义与上述公式的符号有所不同，但在神经网络中，这种定义更有用。

同样，任何具有紧支撑的有限能量信号也是L1 - 有限的。此外，任何经过滤波的L1 - 有限信号仍然是L1 - 有限的，这可以通过以下估计得出：
[
\begin{align }
|z| 1 &= \int |z(t)| dt = \int \left|\int {R} w(u)y(u + t) du\right| dt\
&\leq \int \int \left|w(u)y(u + t)\right| du dt = \int |w(u)| \int |y(u + t)| dt du\
&= \int |w(u)| \int |y(r)| dr du = \int |w(u)| |y|_1 du = |y|_1 |w|_1
\end{align }
]
这里使用了富比尼定理来交换积分顺序。

2.3 离散二维信号

离散二维信号是一个无限矩阵(y = [y_{ij}])，其中(y_{ij})表示((i, j))像素的激活值。因此，任何黑白图像都可以看作是一个二维信号。如果((i, j))像素为黑色，则激活值(y_{ij} = 1)；如果为白色，则(y_{ij} = 0)；其他灰度值是介于0和1之间的数。

信号可以分为以下几种类型：
- L1 - 有限信号 ：(\sum_{k = -\infty}^{\infty} \sum_{j = -\infty}^{\infty} |y_{jk}| < \infty)。
- 有限能量信号 ：(\sum_{k = -\infty}^{\infty} \sum_{j = -\infty}^{\infty} |y_{jk}|^2 < \infty)。
- 紧支撑信号 ：存在(N \geq 1)，使得对于任何(|j| > N)和(|k| > N)，有(y_{jk} = 0)。

在这种情况下，核是一个紧支撑信号(w = [w_{ij}])。信号(y = [y_{jk}])与核(w = [w_{ij}])的卷积信号(z = y * w)定义为：
[z_{ij} = \sum_{k = -\infty}^{\infty} \sum_{r = -\infty}^{\infty} y_{i + k, j + r}w_{kr}]

在二维情况下，输出(z_{ij})也称为特征图，因为它包含了与核(w)相关的图像特征。

示例：二维移动平均

考虑一个具有(2×2)支撑的特征图：
[w =
\begin{pmatrix}
0 & 0 & 0 & 0 \
0 & 1/4 & 1/4 & 0 \
0 & 1/4 & 1/4 & 0 \
0 & 0 & 0 & 0
\end{pmatrix}]

卷积信号通过对四个相邻激活值求平均得到：
[z_{ij} = \frac{1}{4}(y_{ij} + y_{i, j + 1} + y_{i + 1, j} + y_{i + 1, j + 1})]

我们用(C)表示卷积算子，所以(C(y))是输入为(y)的卷积层的输出。同时，用(T_{a,b})表示在向量((a, b))方向上的平移算子，即((T_{a,b} \circ y) {ij} = y {i - a, j - b})。需要注意的是，L1 - 有限性、有限能量和紧支撑性质在信号平移后仍然保持。

命题：卷积操作的平移不变性

卷积操作保持平移不变性，即(C(T_{a,b} \circ y) = T_{a,b} \circ C(y))。

证明：首先，((T_{a,b} \circ y) {ij} = y {i - a, j - b})。对于任意固定的索引(i)和(j)，有：
[
\begin{align }
C(T_{a,b} \circ y) {ij} &= ((T {a,b} \circ y) * w) {ij} = \sum {k} \sum_{r} (T_{a,b} \circ y) {i + k, j + r} w {kr}\
&= \sum_{k} \sum_{r} y_{i + k - a, j + r - b} w_{kr} = (y * w) {i - a, j - b}\
&= (T {a,b}(y * w)) {ij} = (T {a,b} \circ C(y))_{ij}
\end{align }
]

这个结果表明，如果输入受到平移影响，那么经过卷积后，输出也会受到相同的平移影响。因此，由于许多输入图像特征（如角点、边缘等）在平移下是不变的，它们在卷积层的输出中仍然会存在。

此外，池化对数据的小平移是不变的，即(P(T_{a,b} \circ y) = P(y))。这种性质与卷积的平移不变性是兼容的，这使得池化和卷积可以一起应用。如果在卷积后应用池化，有(P \circ C(T_{a,b} \circ y) = P \circ C(y))；反之，如果在池化后应用卷积，则(C \circ P(T_{a,b} \circ y) = C \circ P(y))。

3. 卷积层的输入类型

3.1 一维输入的卷积层

卷积层类似于全连接层，但它有很多零权重和重复的非零权重。考虑一个神经网络，其输入是一个紧支撑信号(x = [x_1, x_2, …, x_n])，滑动核为(w = [w_1, w_2])。核相对于信号滑动的间隔称为步长。

以下是不同步长的示例：
- 步长(s = 1) ：网络输出可以写成(Y = \sigma(WX + B))的形式，其中(X = (x_1, …, x_6)^T)，(B = (b, b, b, b)^T)，(Y = (y_1, …, y_5)^T)，权重矩阵(W)是一个(5×6)的稀疏矩阵：
[W =
\begin{pmatrix}
w_1 & w_2 & 0 & 0 & 0 & 0 \
0 & w_1 & w_2 & 0 & 0 & 0 \
0 & 0 & w_1 & w_2 & 0 & 0 \
0 & 0 & 0 & w_1 & w_2 & 0 \
0 & 0 & 0 & 0 & w_1 & w_2
\end{pmatrix}]
- 步长(s = 2) ：网络输出同样可以写成(Y = \sigma(WX + B))的形式，其中(X = (x_1, …, x_6)^T)，(B = (b, b, b)^T)，(Y = (y_1, y_2, y_3)^T)，权重矩阵(W)是一个(3×6)的矩阵：
[W =
\begin{pmatrix}
w_1 & w_2 & 0 & 0 & 0 & 0 \
0 & 0 & w_1 & w_2 & 0 & 0 \
0 & 0 & 0 & 0 & w_1 & w_2
\end{pmatrix}]

线性神经元的卷积

假设卷积神经网络的所有神经元都具有线性激活函数(\varphi(x) = x)。可以证明，具有多个卷积层的这个神经网络等价于只有一个卷积层的网络。因此，在卷积网络的深度学习中，使用非线性激活函数是至关重要的。

只需要证明两个卷积层等价于一个卷积层即可。考虑两个连续层的前向传播：
[X^{(1)} = W^{(1)}X^{(0)} + B^{(1)}]
[X^{(2)} = W^{(2)}X^{(1)} + B^{(2)}]

它们的组合为：
[X^{(2)} = W^{(2)}(W^{(1)}X^{(0)} + B^{(1)}) + B^{(2)} = WX^{(0)} + B]

其中权重矩阵(W = W^{(2)}W^{(1)})，偏置向量(B = W^{(2)}B^{(1)} + B^{(2)})。需要证明矩阵(W)也是稀疏类型的。

不同步长的卷积层情况如下：
- 步长(s = 1)，支持宽度为(2) ：两个这样的层等价于一个支持宽度为(3)、步长为(1)的两层网络，且满足信息关系(S(Y_1) \subset S(X_1, X_2, X_3))，(S(Y_2) \subset S(X_2, X_3, X_4))，(S(Y_3) \subset S(X_3, X_4, X_5))，(S(Y_4) \subset S(X_4, X_5, X_6))。
- 步长(s = 2)，支持宽度为(2) ：两个这样的层等价于一个支持宽度为(4)、步长为(1)的两层网络，且满足信息关系(S(Y_1) \subset S(X_1, X_2, X_3, X_4))，(S(Y_2) \subset S(X_2, X_3, X_4, X_5))。

卷积会压缩信息，如果(s)表示步长，那么(d(\ell) = d(\ell - 1) + s)，即每一层神经元的数量会减少步长的数量。由于(s)是一个较小的数，所以卷积的压缩程度比池化小。

3.2 二维输入的卷积层

卷积网络在处理二维图像方面表现出色。在这种情况下，每个输入是一个彩色图像（RGB格式），可以看作是一个(r×c×3)类型的张量，其中(r)是图像的行数，(c)是像素列数。这相当于3个(r×c)维度的通道，每个通道对应一种颜色。

卷积操作示例

我们将一个(2×2)的卷积核（如图16.5 a所示）与一个(3×3)的输入图像（如图16.5 b所示的矩阵）进行卷积。卷积核在矩阵上重叠，并在所有可能的位置水平和垂直移动。在每个位置，我们将核元素与矩阵元素的乘积相加，得到的结果作为输出。具体计算如下：
[
\begin{align }
&1 \cdot 2 - 1 \cdot 1 + 2 \cdot 4 + 1 \cdot 3 = 12\
&1 \cdot 1 - 1 \cdot 1 + 2 \cdot 3 + 1 \cdot 5 = 11\
&1 \cdot 4 - 1 \cdot 3 + 2 \cdot 7 + 1 \cdot 6 = 21\
&1 \cdot 3 - 1 \cdot 5 + 2 \cdot 6 + 1 \cdot 0 = 10
\end{align }
]

用卷积算子(*)表示，上述计算可以写成：
[\begin{pmatrix}
2 & 1 & 1 \
4 & 3 & 5 \
7 & 6 & 0
\end{pmatrix} *
\begin{pmatrix}
1 & -1 \
1 & 1
\end{pmatrix} =
\begin{pmatrix}
12 & 11 \
21 & 10
\end{pmatrix}]

我们注意到，一个(2×2)的核与一个(3×3)的图像进行卷积的输出大小为(2×2)。一般来说，如果核的大小为(h×k)，图像的大小为(H×K)，则输出的大小为((H - h + 1)×(K - k + 1))。

特征图的计算

对于固定的核，第(\ell)层张量(X^{(\ell)})的元素由三重索引(X^{(\ell)} {ijk})表示，其中(1 \leq i \leq r^{(\ell)})，(1 \leq j \leq c^{(\ell)})，(1 \leq k \leq 3)。第(\ell)层中，第(k)个通道对应给定核(w^{(\ell)})和偏置(b^{(\ell)})的一个特征图为：
[X^{(\ell)} {ijk} = \varphi(\sum_{s} \sum_{p} X^{(\ell - 1)} {i + p, j + r, k}w^{(\ell)} {prk} + b^{(\ell)})]

其中激活函数(\varphi)通常采用ReLU，以避免梯度消失。

由于(k)表示颜色通道，所以(1 \leq k \leq 3)。卷积神经网络的第(\ell)层(X^{(\ell)})由所有形式为(X^{(\ell)}_{ijk})的三阶张量组成，对应于所有的核(w^{(\ell)})。如果(f^{(\ell)})表示第(\ell)层的特征图数量（即该层使用的核的数量），(r^{(\ell)}×c^{(\ell)})是该层图像的维度（行数乘以列数），那么第(\ell)层的输出可以写成一个四阶张量(X^{(\ell)} \in R^{r^{(\ell)}×c^{(\ell)}×3×f^{(\ell)}})。

通常，序列(r^{(\ell)})和(c^{(\ell)})随着(\ell)的增加而减小，这是因为卷积层的处理会使图像维度减少一个等于步长的数量（此外，在卷积层之间使用池化也会按一定因子压缩维度）。通道数量保持不变，但特征数量(f^{(\ell)})随着(\ell)的增加而增加。

最后，引入一个全连接层将最后一个卷积层的所有信息整合在一起。如果网络用于分类目的，则可以使用一个softmax层。整个过程的流程图如下：

graph TD;
    A[输入图像] --> B[卷积层];
    B --> C[池化层];
    C --> D[卷积层];
    D --> E[池化层];
    E --> F[全连接层];
    F --> G[Softmax层];
    G --> H[输出分类结果];

综上所述，池化和卷积是深度学习中非常重要的技术，它们在降低数据维度、提取特征和提高模型效率方面发挥着关键作用。通过合理地组合和应用这些技术，可以构建出高效、准确的深度学习模型。