支持向量机

介绍支持向量机的博文很多，不再赘述。仅记录两个问题。

问题一

假设超平面$(w,b)$ 能将训练样本正确分类，对$(x_i,y_i) \in D$，若$y_i=+1$，则$w^Tx_i+b>0$；

若$y_i=-1$，则$w^Tx_i+b<0$。有：

$$\left \{ \begin{align} w^Tx_i+b \ge+1, y_i=+1;\\ w^Tx_i+b \le-1,y_i=-1; \end{align} \right.$$

刚开始没有想明白为什么是 $\le-1$或者$\ge+1$ ，为什么不能是其他数值。

其实，这里$w^T$和$b$ 都还是未知数，本来就是要计算的。例如可以这样写：

$$w^Tx_i+(b+1)\ge1+1$$

不论是$\pm1$还是$\pm2$都是可以的，为了方便表示，选择1。

问题二

为了找到最大间隔，就是要:

$$\begin{align} &max_{w,b}\frac{2}{||w||}\\ &s.t. \ y_i(w^Tx_i+b)\ge1,i=1,..,m \end{align}$$

刚开始没有想明白为什么约束条件是 $y_i(w^Tx_i+b)$$\ge1$。为什么是 1，而不是 0。
这里的 $y_i\in\{-1,+1\}$，而 $w^Tx_i+b=\pm1$是支持向量所在的直线，所以最小值就是1。

通过拉格朗日乘子法，可以得到上式得对偶问题:

$$\begin{align} &max _ {\alpha}\sum^m_{i=1}\alpha_i-\frac{1}{2}\sum^m_{i=1}\sum^m_{j=1}\alpha_i\alpha_jy_iy_jx^T_ix_j\\ &s.t.\ \sum^m_{i=1}\alpha_iy_i=0, \\ &\ \ \ \ \ \ \ \ \alpha_i\ge0,i=1,..,m. \end{align}$$

这个过程要满足 KKT条件：

$$\left \{ \begin{align} &\alpha_i\ge0;\\ &1-y_if(_i)\le0;\\ &\alpha_i(y_if(x)_i)-1)=0; \end{align} \right.$$

总会有$\alpha_i=0$或$y_if(x_i)=1$。$\alpha_i$不能为0，于是$y_if(x_i)=1$。于是对应的样本点就在最大间隔的边界上，就是一个支持向量。

问题三

拉格朗日乘子法可将$d$个变量与$k$个约束条件的最优化问题转化为$d+k$个变量的无约束问题。
拉格朗日函数的理解：

$$L(x,\lambda)=f(x)+\lambda g(x)$$

分别对$x,\lambda$求导：

$$\begin{align} &\frac{\partial L(x,\lambda)}{\partial x} =\nabla f(x)+\lambda \nabla g(x)=0 \\ &\frac{\partial L(x,\lambda)}{\partial \lambda}=g(x)=0 \end{align}$$

于是原问题可以转化为对拉格朗日函数的无约束优化问题。