【卷积神经网络】卷积神经网络的三大核心优势：稀疏交互、参数共享与等变表示

1. 引言

卷积神经网络(CNN)之所以在计算机视觉、语音识别等领域取得突破性进展，并非偶然。相比传统的全连接神经网络，CNN通过三个重要的思想来帮助改进机器学习系统：稀疏交互(sparse interactions)、参数共享(parameter sharing)、等变表示(equivariant representations)。此外，卷积还提供了一种处理大小可变输入的有效方法。

本文将深入探讨这些核心概念，帮助读者理解CNN相对于传统神经网络的显著优势。

2. 稀疏交互(Sparse Interactions)

2.1 传统神经网络的局限性

传统的神经网络使用矩阵乘法来建立输入与输出的连接关系。其中，参数矩阵中每一个单独的参数都描述了一个输入单元与一个输出单元间的交互。这意味着每一个输出单元与每一个输入单元都产生交互。

这种全连接的方式存在明显问题：

• 参数数量庞大，存储需求高
• 计算复杂度高
• 统计效率低下
• 容易过拟合

2.2 卷积网络的稀疏连接特性

卷积网络具有稀疏交互(也叫做稀疏连接或者稀疏权重)的特征。这是通过使核的大小远小于输入的大小来达到的。

具体优势分析：

当处理一张图像时，输入的图像可能包含成千上万个像素点，但