25、二元感知器在线学习规则的显式推导与分析

二元感知器在线学习规则的显式推导与分析

1. 引言

在机器学习领域，二元感知器的在线学习规则是一个重要的研究方向。通过推导宏观动力学方程，我们可以描述大型二元输出感知器在训练过程中误差随时间的演变。本文将深入探讨几种常见的在线学习规则，包括Hebbian规则、感知器学习规则和AdaTron学习规则，并分析它们在不同情况下的性能。

2. 学习规则家族

考虑一个线性可分的二元分类任务，由一个未知权重向量为(B \in \mathbb{R}^N)的教师感知器生成，即(T(\xi) = \text{sgn}(B \cdot \xi))，其中(\xi \in {-1, 1}^N)。学生感知器的输出为(S(\xi) = \text{sgn}(J \cdot \xi))，其中(J \in \mathbb{R}^N)。我们使用在线学习方式，随机抽取输入向量(\xi)和对应的教师答案(T(\xi))来训练学生感知器。

权重更新的通用公式为：
[J(t + \Delta t) = J(t) + \frac{1}{N} \eta(t) \xi(t)F[|J(t)|; J(t) \cdot \xi(t), B \cdot \xi(t)]]
其中，(\eta(t))是可能随时间变化的学习率，(\xi(t))是在时间(t)选择的输入向量，(F[\cdots])是一个关于学生权重向量长度和学生、教师局部场的任意函数。

不同的(F[\cdots])选择会产生不同的学习规则，例如：
- 当(F[J; u, v] = \text{sgn}(v))时，得到Hebbian规则。
- 当(F[J; u, v] = \theta(-uv)\