5、深度学习中的卷积网络与径向基函数网络

深度学习中的卷积网络与径向基函数网络

1. 卷积网络概述

卷积网络对输入的平移和扭曲具有鲁棒性，其权重共享特性在一定程度上保证了这种鲁棒性。当输入发生小的平移时，卷积核的输出变化较小；而在其他情况下，输出保持不变。由于所有权重都是通过反向传播学习得到的，卷积网络可以看作是在合成自己的特征提取器。权重共享技术还能减少自由参数的数量，降低模型的“容量”，从而缩小测试误差和训练误差之间的差距。

在深度学习领域，其关注的计算模型在信息表示方面与新皮层具有相似的特征。卷积神经网络的结构在当前深度学习领域已经非常成熟，并且在未来的研究中具有很大的潜力。它是第一种真正成功的深度学习方法，能够以稳健的方式训练多层网络。卷积神经网络利用空间关系来减少需要学习的参数数量，从而改进了一般的前馈反向传播训练方法。

卷积神经网络的设计初衷是减少数据预处理的需求。在卷积神经网络中，图像的小部分（称为局部感受野）被作为层次结构最低层的输入。信息通过网络的不同层进行传播，在每一层应用数字滤波以获取观察数据的显著特征。这种方法对平移、缩放和旋转具有一定的不变性，因为局部感受野允许神经元或处理单元访问诸如定向边缘或角点等基本特征。

2. 反向传播的计算机实验：异或（XOR）问题

异或问题是一个典型的线性不可分问题。Rosenblatt的单层感知机没有隐藏神经元，因此无法对线性不可分的输入模式进行分类，异或问题就是一个例子。

异或问题可以看作是对单位超立方体中的点进行分类的特殊情况。在更特殊的情况下，只需要考虑单位正方形的四个角，对应输入模式(0, 0)、(0, 1)、(1, 0)和(1, 1)。根据异或布尔函数运算符⊕的定义：
- (0 ⊕