29、卷积网络中的不变性与深度卷积网络

卷积网络中的不变性与深度卷积网络

在机器学习领域，卷积网络是一种非常强大的工具，它在图像、语音等领域都有广泛的应用。本文将深入探讨卷积网络中的不变性，包括平移不变性、尺度不变性和运动不变性，并介绍深度卷积网络的相关内容。

1. 卷积与不变性

1.1 平移不变性

卷积在机器学习社区中变得重要且流行，很大程度上是因为其平移不变性。以图像为例，假设视网膜的一小部分 $\overline{Z_1} \subset Z$ 在两个不同位置重复出现，一个位置的部分可以通过一定的平移得到另一个位置的部分。设 $z_2 \in \overline{Z_2} \subset Z$，存在 $z_1 \in \overline{Z_1} \subset Z$ 使得 $z_2 = z_1 + \rho$，其中 $\rho \in Z$ 是定义平移的向量。

定义集合 $C := {γ \in R^2 | (|γ_{z1}| < \epsilon_{z1}) \land (|γ_{z2}| < \epsilon_{z2})}$，它是感受野 $R_{\zeta}$ 的连续对应。选择滤波器 $h(γ) = \begin{cases} \tilde{h}(γ), & γ \in C \ 0, & otherwise \end{cases}$，由于边界消失的假设，有：

$y(z_2 \in \overline{Z_2}) = \int_Z h(z_2 - γ)v(γ)dγ = \int_Z h(γ)v(z_2 - γ)dγ = \int_Z \begin{cases} \tilde{h}(γ), & γ \in C \ 0, &