11、简单感知器：从线性到非线性的学习之旅

简单感知器：从线性到非线性的学习之旅

1. 感知器学习规则收敛性证明

1.1 D(w)与Dmax的意义

在感知器的学习过程中，D(w)和Dmax是非常重要的概念。D(w)表示模式到与权重向量w垂直平面的距离，其中距离最近的模式（如模式A）到该平面的距离即为D(w)。通过对w最大化D(w)，可以得到w’，此时D(w’) = Dmax。Dmax的值反映了问题的难易程度，Dmax越大，问题越容易解决；若Dmax < 0，则问题无法解决。例如，AND问题的Dmax为1/√17，而XOR问题的Dmax为 - 1/√3。

1.2 感知器学习规则收敛性证明

假设问题存在解，我们要证明感知器学习规则（5.21）能在有限步骤内达到该解。只需假设能选择一个“好”方向的权重向量w ，使得D(w ) > 0。
在学习过程的每一步，选择一个模式，仅当条件（5.20）不满足时更新权重。设M 表示在学习过程中模式β用于更新权重的次数。若初始权重都为零，则此时权重w满足：
[w = \eta\sum_{\beta} M^{\beta}x^{\beta}] （5.26）
证明的关键在于计算|w|和w与所选“好”向量w 的重叠w - w 的边界。
- *计算w - w ：利用（5.26）和（5.24）可得
[w - w = \eta\sum_{\beta} M^{\beta}x^{\beta} \cdot w > \eta M \min_{\beta} x^{\beta} \cdot w