10、神经网络学习算法的发展与应用

神经网络学习算法的发展与应用

1. 玻尔兹曼机的学习与应用

1.1 玻尔兹曼机的学习阶段

玻尔兹曼机的学习分为两个阶段：
- 清醒阶段 ：输入和输出单元被固定，计算每对单元同时激活的时间比例。
- 睡眠阶段 ：输入和输出单元被释放，在自由运行状态下计算每对单元同时激活的时间比例。然后根据清醒和睡眠阶段的重合率差异更新每个连接的强度。

睡眠阶段的计算目的是确定固定关联中哪些部分是由外部原因引起的。如果不减去内部生成的关联，网络会强化内部活动模式，忽略外部影响。

1.2 学习镜像对称

玻尔兹曼机能够解决感知机无法解决的学习镜像对称问题。人类身体沿垂直轴具有双侧对称性，可生成大量具有垂直、水平和对角对称轴的随机模式。在玻尔兹曼机网络中，10×10的二进制输入块投射到16个隐藏单元，再投射到3个输出单元，分别对应三种可能的对称轴。经过6000个对称输入模式的训练后，玻尔兹曼机对新输入模式对称轴的分类成功率达到90%。而感知机只能靠随机猜测，因为单个输入不包含模式对称性的信息，必须询问输入对之间的相关性。

通过观察玻尔兹曼机学习过程，人的视觉系统可以被训练自动检测对称性。实验表明，本科生经过几天的训练后，检测对称性的速度明显加快，最后甚至可以在完成任务的同时与他人交谈并全部答对，这体现了快速的感知学习能力。

1.3 识别手写邮政编码

多伦多大学的Geoffrey Hinton和他的学生训练了一个具有三层隐藏单元的玻尔兹曼机，能够高精度地对手写邮政编码进行分类。由于玻尔兹曼网络具有反馈和