10、人工神经网络学习方法解析

人工神经网络学习方法解析

1. Hebbian学习规则

1.1 Hebbian学习规则的基本概念

Hebbian学习规则以Donald Hebb命名。其核心思想是：当细胞A的轴突足够接近并能激发细胞B，且反复或持续参与激发细胞B时，一个或两个细胞会发生某种生长过程或代谢变化，使得细胞A激发细胞B的效率提高。该规则可扩展为两部分：
1. 若突触两侧的两个神经元同时被激活，则该突触的强度会选择性增加。
2. 若突触两侧的两个神经元异步激活，则该突触会选择性减弱或消除。

1.2 前馈神经网络中的Hebbian学习

在基本的前馈神经网络中，输入神经元和输出神经元之间的权重在输入神经元的激活传递到输出神经元并使其强烈激发时会大幅增强。用数学表达式表示，对于最简单的前馈神经网络，有：
[y_i = \sum_{j} W_{ij}x_j]
其中，(W_{ij})表示第(j)个输入和第(i)个输出之间的权重向量。Hebbian学习规则定义为：
[\Delta W_{ij} = \eta(x_jy_i)]
其中，(\eta)是学习率参数。将(y)的值代入学习规则可得：
[\Delta W_{ij} = \eta x_j \sum_{k} W_{ik}x_k = \eta \sum_{k} W_{ik}x_kx_j]

1.3 Hebbian学习规则的稳定性问题及解决措施

Hebbian学习规则存在正反馈问题，缺乏稳定性。若第(i)个输入和第(j)个输出神经元倾向于一起强烈激发，它们之间的权重会不断增大，导致权重变化率更高。为限制权重的无限制增长，可采取以下预防