15、神经网络训练中的学习规则解析

神经网络训练中的学习规则解析

1. 引言

在神经网络训练中，学习规则起着至关重要的作用。它涉及如何修改神经网络的权重，以使其能够融入新的信息。常见的训练方式有两种：
- 在线训练 ：也称为案例或样本更新，在每次输入单个（输入和目标）向量后更新相应的权重。
- 离线训练 ：也称为批量或周期更新，在完整遍历整个训练数据序列后更新相应的权重。

这里所说的“学习”通常指的是学习权重，不包括网络的其他信息，如神经元的连接方式、激活函数及其参数、传播规则和学习规则本身。

2. 赫布规则（Hebbian rule）

赫布规则由麦吉尔大学的心理学家唐纳德·赫布（Donald 0 Hebb）在其经典著作《行为的组织》（ Organization of Behavior ）中提出，是神经网络中最早被广泛使用的学习规则。该规则基于突触变化，指出当神经元 A 的轴突在神经元 B 放电时反复刺激它，A 和 B 之间的权重 w 会增大。

最简单的赫布学习是无监督的。对于神经元 $n_j$ 和 $n_i$，若 $n_i$ 接收到正输入 $x$ 并产生正输出 $y_i$，对于学习率 $\eta > 0$，权重更新公式为：
$w_{ij} := w_{ij} + \Delta w_{ij}$
其中，连接 $n_j$ 和 $n_i$ 的权重增加量为：
$\Delta w_{ij} := \eta y_i x_j$

通常使用在线训练。赫布规则是最著名的学习规则之一，为许多其他学习规则奠定了基础。不过，赫