关于证明PLA收敛的一点记录

1.关于$w$

作用：

用来预测分类的一组参数（权重）。因此学习的最终目标就是找到这样一组$w$权重。

定义符号：

$w_t$表示第t次更新的权重。
$w_f$表示假想的完美权重。

符号说明：

$w_t$：表示第t次更新得到的权重，只有错误的点才能使权重更新。所以有$(y_{n(t)},x_{n(t)})$使得用$w_t$权重无法得到正确的分类：
$$sign(w_t^T{x}_{n(t)})̸=y_{n(t)}$$
（注：不知道为什么不等于符号打出来是这样）
所以可得第t+1次的权重更新为:
$$w_{t+1}\leftarrow w_t+y_{n(t)}{x}_{n(t)}$$
$w_f$：完美的意思就是对于下式，任意输入一个$x$，我们能得到正确的$y$。
$$y_n=sign(w_f^T{x}_n)$$这种正确性保证了:
$$y_n{w}_f^T{x}_n>0$$

2.关于$w\cdot x$指什么.

以二维为例子：

$w=[w_0,w_1,w_2]$，$x=[1,x_1,x_2]$
$w\cdot x=w_0+w_1{x}_1+w_2{x}_2$
$w\cdot x=0$表示的是一条直线。$|w_0|$表示原点到这条直线的距离。如果$w_0$为零，那么这条直线将始终过原点。

推广：

随时维度的升高$w\cdot x=0$从线到平面到超平面，不变的是都将数据线性分割为两类。

3.关于PLA收敛

前提：

$w$从0向量开始更新。

思想：

收敛意味着我们训练的$w_t$在向我们假想的完美的$w_f$靠近。两个向量靠近意味着他们的夹角在减小。因此考虑：
$$\frac{w_f^T}{||w_f||}\frac{w_t}{||w_t||}=\cos \alpha \le 1$$
$\alpha$为$w_f$和$w_t$的夹角。

第一个不等式：

首先有：
$$sign(w_t^T{x}_{n(t)})̸=y_{n(t)}\Rightarrow y_{n(t)}{w}_t^T{x}_{n(t)}\le 0$$
$$\begin{array}{rl}||w_{t+1}|{|}^2& =||w_t+y_{n(t)}{x}_{n(t)}||\\ & =||w_t||+2y_{n(t)}{w}_t^T{x}_{n(t)}+||y_{n(t)}{x}_{n(t)}|{|}^2\\ & \le ||w_t||+||y_{n(t)}{x}_{n(t)}|{|}^2\\ & \le ||w_t||+\underset{n}{\max }||y_n{x}_n|{|}^2\\ & \le ||w_{t-1}||+2\underset{n}{\max }||y_n{x}_n|{|}^2\\ & ......\\ & \le (t+1)\cdot \underset{n}{\max }||y_n{x}_n|{|}^2\\ & =(t+1)\cdot \underset{n}{\max }||x_n|{|}^2\end{array}$$
即得到:
$$\begin{array}{rl}& ||w_t|{|}^2\le t\cdot \underset{n}{\max }||x_n|{|}^2\\ & ||w_t||\le \sqrt{t}\cdot \underset{n}{\max }||x_n||\end{array}$$

第二个不等式：

$y_{n(t)}{w}_f^t{x}_{n(t)}$表示，在t次选择点时，该点靠近分离直线的距离。$y_{n(t)}$保证了整个式子大于0。${\min }_n{y}_n{w}_f^T{x}_n$ 表示在所有点到直线的距离中，离分离直线最近的距离。因此可以理解，任意一个点到该完美分离直线的距离都应该大于等于这个最小距离。
显然：
$$y_{n(t)}{w}_f^T{x}_{n(t)}\ge \underset{n}{\min }{y}_n{w}_f^T{x}_n>0$$
可得：
$$\begin{array}{rl}{w}_f^T{w}_t& =w_f^T(w_{t-1}+y_{n(t-1)}{x}_{n(t-1)})\\ & \ge w_f^T(w_{t-1}+\underset{n}{\min }{y}_n{x}_n)\\ & \ge w_f^T{w}_{T-1}+\underset{n}{\min }{y}_n{w}_f^T{x}_n)\\ & \ge w_f^T(w_{t-2}+\underset{n}{\min }{y}_n{w}_f^T{x}_n)+\underset{n}{\min }{y}_n{w}_f^T{x}_n)\\ & ......\\ & \ge w_f^T{w}_0+t\cdot \underset{n}{\min }{y}_n{w}_f^T{x}_n\\ & =t\cdot \underset{n}{\min }{y}_n{w}_f^T{x}_n\end{array}$$
最终得到：
$$w_f^T{w}_t\ge t\cdot \underset{n}{\min }{y}_n{w}_f^T{x}_n$$

证明收敛：

两个向量的内积越大，则表明两个向量越接近。因此考虑$w_f^T{w}_t$的大小。因为要考虑向量长度的影响，所以取单位向量。则考虑$\frac{w_f^T}{||w_f||}\frac{w_t}{||w_t||}$,由上面两个不等式得：
$$\begin{array}{rl}\frac{w_f^T}{||w_f||}\frac{w_t}{||w_t||}& \ge \frac{t\cdot {\max }_n{y}_n{w}_f^T{x}_n}{\sqrt{t}\cdot {\max }_n||X_n||}\\ & =\sqrt{t}\cdot constant\end{array}$$
$constant=\frac{{\max }_n{y}_n{w}_f^T{x}_n}{{\max }_n||x_n||}$
$\frac{w{f}^T}{||w_f||}\frac{w_t}{||w_t||}=\cos \alpha$, $\alpha$为$w_f$和$w_T$的夹角。所以：
$$\frac{w_f^T}{||w_f||}\frac{w_t}{||w_t||}\le 1$$即：
$$\sqrt{t}\cdot constant\le 1$$
所以：$$t\le \frac{1}{constan{t}^2}$$
所以PLA是收敛的。
（待改善和补充）