19、多层感知器决策序列与模式识别应用

多层感知器决策序列与模式识别应用

1. 价值单元网络与积分装置网络对比

价值单元网络在解决一系列基准模式识别问题上展现出诸多优势。与积分装置网络相比，价值单元网络通常学习速度更快，且在模式分类时所需的隐藏单元更少。这两大优势得益于精心设计的误差项，以及价值单元能够在模式空间中进行两次“切割”，而非一次。不过，价值单元网络并非在所有情况下都优于积分装置网络。因此，所有能通过广义 delta 规则变体进行训练的不同类型网络，都应被视为工具盒中的可用工具，研究者需探索多层网络的架构，以确定哪种网络最适合当前问题。

2. 探索多层网络学习

有一个名为“Rumelhart”的程序可用于多层感知器的训练。该程序具备以下特点：
- 可使用前文描述的学习规则训练多层感知器。
- 支持训练混合网络，即一层处理单元为积分装置，另一层为价值单元。
- 允许用户决定是否在输入和输出单元之间设置直接连接。
- 附带多个示例训练文件，涵盖后续介绍的所有案例研究。

3. 简单案例研究：异或问题（XOR）

3.1 使用隐藏单元检测额外特征

在第一个 XOR 模拟中，采用了仅含一个隐藏单元的积分装置网络，同时在两个输入单元和一个输出单元之间存在直接连接。输出单元和隐藏单元均使用逻辑激活函数。训练过程如下：
- 所有连接权重初始化为 -0.1 到 +0.1 之间的随机数。
- 单元偏置初始化为 0.0。
- 使用广义 delta 规则进行训练，学习率为 0.9。
- 每个训练周期随机打乱模式呈现顺序。

该网络在 1197 个训练周期后收敛到 XO