6、人工神经网络学习方法解析

人工神经网络学习方法解析

1. 监督学习与关联记忆网络

监督学习是人工神经网络学习中的一种重要方式。关联记忆网络是简单的一层或两层网络，用于存储模式以便后续检索。它包含一类被称为内容可寻址存储器或存储设备的网络，允许根据存储数据的属性从模式键中检索数据。

关联记忆可分为两类：自关联和异关联。自关联记忆会召回与输入 x 相同的模式 y，即 x = y；而异关联记忆的召回模式与输入不同，x ≠ y。显然，在这种情况下存储了模式之间的关联。当只有有噪声或部分完整的模式作为输入，而输出模式是原始的、完整的、无噪声的模式时，自关联记忆非常有用。

监督学习的一个基本特征是存在外部教师。网络在已知目标输出的示例上进行训练，因此训练集必须已经包含呈现给网络的问题的答案。对于自关联监督网络，输入数据被呈现给输入神经元，通过权重向前传播到隐藏神经元，然后通过下一层权重传播到输出神经元，目标模式等于输入模式。

2. 无监督学习概述

人类似乎能够在没有明确监督的情况下学习。无监督学习的一个目标是模仿人类学习的这一方面，因此这种类型的学习倾向于使用从生物学角度更合理的方法，而不是使用误差下降方法。例如，此类算法涉及每个突触的局部处理，并且全局信息无需通过网络。因此，无监督网络必须在没有外部提示的情况下，根据其内部参数进行自组织，为此，它必须对输入数据的某些方面做出反应，通常是输入数据中的冗余或数据中的聚类，即数据中必须有一些它可以响应的结构。

无监督学习主要有两种方法：
- Hebbian学习
- 竞争学习

2.1 Hebbian学习

Hebbian学习以Donald Hebb的