感知机模型

感知机模型

SVM模型

1. 目标：寻找具有最大间隔的超平面，从而将 m 个样本分类。
   
   • m 个样本：
   • 每个样本具有n维特征 ：$x^{(0)}_i,x^{(1)}_i,..., x^{(n)}_i$
     
     • 每个样本具有一个输出：$y$
     • E.g：$(x^{(0)}_1,x^{(1)}_1,..., x^{(n)}_1,y)$
   • 超平面模型：$\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n = 0$
   • 一般来说会假定$x_0 = 1$ ，超平面模型变成：$\theta_0x_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n = 0$

2. 对于任意样本点$(x_i, y_i)$， 满足约束条件：$y_i(w^Tx_i + b) \geq 0$

   • 坏点：不满足约束条件的点。对于坏点，添加惩罚项，改变优化目标， 添加 loss function： $$min \frac{1}{2}|| \omega ||^2 + C \sum l_{0/1}(y_i(w^Tx_i + b) -1)$$

3. 经典SVM：将上式中第二部分，

   $$C \sum l_{0/1}(y_i(w^Tx_i + b) -1)$$ ，替换为 $max(0, 1-y_i( \omega x_i + b))$，就有了SVM模型：
   $$min \frac{1}{2}|| \omega ||^2+max(0, 1-y_i( \omega x_i + b))$$
   • SVM模型中以预测值与真实测量值的误差 $1-y_i( \omega x_i + b)$作为优化目标。
   • SVM模型通过学习$\omega$和 $b$ 使得误差最小。

4. 二分类SVM：

   • 二分类模型：

     $$\begin{cases} \omega^Tx_i + b \geq 0 \rightarrow y = +1 \\ \omega^Tx_i +b < 0\rightarrow y = -1 \end{cases}$$

   • 通过定义margin $\Delta$ 来进行优化二分类SVM：

     $$\begin{cases} \omega^Tx_i + b \geq \Delta \rightarrow y = +1 \\ \omega^Tx_i +b < \Delta\rightarrow y = -1 \end{cases}$$
   $$y_i(\omega^Tx_i + b) \geq \Delta$$ : 当样本不满足该条件时，就会产生loss

   • 定义loss function： $max(0, \Delta - y_i(\omega^Tx_i+b))$

   • loss function 满足约束：$y_i(\omega^Tx_i+b) \leq 0$

   • 当我们对loss function 加上正则项： $\frac{C}{2}||\omega||^2$ , 就得到了二分类SVM的数学模型：

     $$\frac{C}{2}||\omega||^2+max(0, \Delta-y_i(\omega^Tx^i+b))$$

   • 对上面的SVM模型使用梯度下降进行优化就可以得到 $\omega$ , $b$。

SMO算法

背景：使用SVM算法，不但计算量很大而且效率很低，SMO算法将SVM拆分成求解一系列小问题，提高了效率并降低了计算量。

1. 目标：找出一系列 $\alpha$ ， 通过 $\alpha$ 求出 $\omega$ , $b$

2. 原理：为了确保约束条件（$\sum \alpha y^{(i)} = 0$）成立, 每次循环会找出一对$\alpha$，通过增大其中一个并且减小另一个进行优化

3. 算法模型：

   $$W(\alpha) = \sum^n_{i=1}-\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^n\alpha_i\alpha_jy_iy_jx_i^Tx_j$$
   • 约束条件：$\begin{cases} \sum_{i = 1}^n \alpha_iyi=0\\0\leq \alpha_i \leq C\end{cases}$
   • 目标：在满足约束条件的情况下求 $max W(\alpha)$
     
     • where $\alpha = [\alpha_1, \alpha_2,...,\alpha_n]$
   • 由于$\alpha$, $y$ 要满足约束条件$\sum_{i = 1}^n \alpha_iyi=0$, 所以将 $\alpha$ 成对进行训练，即选择$\alpha_1, \alpha_2$, 固定其余$\alpha$。
   • 推导过程如下：
   $$\alpha_1y_1+\alpha_2y_2 = -\sum_{i=3}^n\alpha_iy_i = \xi$$
   $$\xi为实数$$

   将$\alpha_1=(\xi-\alpha_2y_2)y_1$代入$W(\alpha)$中得到：

   $$W(\alpha_2)=W((\xi-\alpha_2y_2)y_1, \alpha_2, \alpha_3, ... , \alpha_n)\implies W(\alpha_2)=a\alpha_2^2+b\alpha_2+C$$

   通过计算$\frac{\partial W}{\partial \alpha_2}取得满足条件H\geq \alpha_2 \geq L 的估计值\alpha_2^*$

   当$y_1, y_2$同号时

   $$\begin{cases}L=max(0, \alpha_1+\alpha_2-C)\\H=min(C, \alpha_2+\alpha_1)\end{cases}$$

   当$y_1, y_2$异号时

   $$\begin{cases}L=max(0, \alpha_2-\alpha_1)\\H=min(C, C+\alpha_2-\alpha_1)\end{cases}$$

核函数：

1. 目的：将低纬度中线性不可分的数据映射到高纬度，从而实现线性可分。
2. 分类：Sigmoid核，线性核，多项式核，高斯核……

3. 方法：通过计算给定数据的内积，将非线性数据从低纬度的输入空间映射到高纬度的特征空间

   • 高斯核：$K(x_1, x_2) = exp(\frac{-||x_1-x_2||^2}{2\sigma^2})$
     $\sigma$: 达到率，即函数值跌落到 0 的速度参数。在梯度计算中，作为步长。
   • 多项式核：$K(x_1,x_2)=(\langle x_1,x_2\rangle+R)^d$
     $\langle x_1,x_2\rangle$: $x_1, x_2$的内积
     R: 预先指定的实数
     d: 低纬度空间的维数