14、多层网络的应用与实践

多层网络的应用与实践

1. 引入噪声的方法

在神经网络训练中，有时会陷入局部最优，为解决这个问题，可以引入噪声。引入噪声有以下几种方式：
- 允许误差函数E偶尔上升 ：类似于之前讨论的随机网络，通过温度T控制概率，之后进行退火操作（逐渐降低T）。不过这种方法会使学习速度变得很慢。
- 显式添加噪声 ：可以随机轻微改变权重w，或者在每次呈现训练集输入时独立添加噪声。每种方式似乎都存在一个最优的噪声量，少量噪声有帮助，但过多则会损害并显著减慢学习过程。

2. 神经网络应用示例

神经网络在多个领域都有广泛应用，下面将详细介绍一些具体的应用案例。

2.1 异或（XOR）问题

异或问题不能由单层网络解决，因为它不是线性可分的。但使用一个隐藏层可以有多种解决方案。例如，对于0/1阈值单元，有两种解决方案：
- 方案(a) ：两个隐藏单元分别计算两个输入的逻辑或（左）和逻辑与（右），输出单元仅在或单元开启且与单元关闭时触发。
- 方案(b) ：不是传统的前馈架构，仅需两个单元，隐藏单元计算逻辑与，当两个输入都开启时抑制输出单元。

使用连续值单元的反向传播很容易找到类似方案(a)的解，但找到的权重值会比图中显示的大很多，以驱动Sigmoid单元达到饱和。从随机初始权重开始训练所需的时间很长，需要数百个训练周期才能得到好的结果。

2.2 奇偶校验问题

奇偶校验问题本质上是异或问题向N个输入的推广。当