感知机学习算法（PLA）

Perception Learning Algorithm, PLA

1.感知机

感知机是一种线性分类模型，属于判别模型。

感知机模型给出了由输入空间到输出空间的映射：

　　f(X) = sign(W^TX + b)

简单来说，就是找到一个分类超平面 W^TX + b =0，将数据集中的正例和反例完全分开。

2.感知机学习算法（PLA）

感知机学习算法是为了找到 W 和 b  以确定分类超平面。为了减少符号，令 W = [b, W₁, W₂, ..., W_n]， X = [1, X₁, X₂, ..., X_n]，则 f(X) = sign(W^TX )。

感知机学习算法是由误分类驱动的：

• 对于实际为正例(y=1)的误分类点，则对 W 进行如下修正：

　　　　W = W + X

　　　　从而使得 W^TX 变大，更接近大于 0, 即更接近正确分类；  (W+X)^TX = W^TX + ||X||²

• 对于实际为正例(y=1)的误分类点，则对 W 进行如下修正：　　　　

　　　　W = W - X　　　　

　　　　从而使得 W^TX 变小，更接近小于 0, 即更接近正确分类；  (W-X)^TX = W^TX - ||X||²

综上，令 W 初值 W₀=0，然后每次选取一个误分类点，更新 W = W + y X ，直到所有点都被正确分类。

PS：不同的初值或者选取不同的误分类点，解可以不同。

具体算法如下：

3. PLA算法的收敛性

首先，确定数据集是 线性可分 的，否则，PLA永远不收敛。

假设数据集线性可分，则一定存在一个分类超平面可以将正例负例完全区分。

设最优的参数为 W_f，则：

　　y_i W_f^TX_i ≥ min_n(y_nW_f^TX_n) > 0

已知 W_f^TW 越大，则 W 与 W_f 越接近。（联想协方差）

　　W_f^TW_T = W_f^T (W_T-1+ y_T-1 X_T-1 ) 

                    = W_f^T W_T-1 + y_T-1W_f^TX_T-1

                    ≥  W_f^T W_T-1 + min_n(y_nW_f^TX_n)                                                                         (1)

                    > W_f^T W_T-1 + 0

然而，W_f^TW 越大，也有可能只是 W  的元素值放大，但是W 与 W_f 的角度却没有接近。

所以，我们要讨论 $\frac{W_{f}^{T}W_{T}}{\left \| W_{f} \right \|\left \| W_{T} \right \|}$ 是否越来越大，若是，则 W 越来越接近最优值 W_f 。（联想 SVM 中 函数间隔 和 集合间隔 的概念）

我们知道，PLA 是误分类点驱动，所以有：

　　y_i W^TX_i  ≤ 0

又有：

　　W_T = W_T-1 + y_T-1 X_T-1

则：

　　|| W_T ||² = || W_T-1 ||² + y_T-1² || X_T-1 ||² + 2 y_T-1 W_T-1^T X_T-1

                    ≤ || W_T-1 ||² + y_T-1² || X_T-1 ||²  = || W_T-1 ||² + || X_T-1 ||² 

                     ≤ || W_T-1 ||² + min_n|| X_n ||²                                                                             (2)

设 W₀ = 0

令 ρ = min_n(y_nW_f^TX_n) ，代入式 (1):

　　W_f^TW_T   ≥  W_f^T W_T-1 + ρ  ≥  W_f^T W_T-2 + 2ρ  ≥  ...  ≥  W_f^T W₀ + Tρ = T

转载于:https://www.cnblogs.com/dyj-ng/p/9577807.html