支持向量机

基础部分

基本思想：与感知机类似，同样是找超平面分隔两个类别，但支持向量机找的是最大边缘超平面。

在支持向量机构造的线性模型中，一个要满足的最基础的条件是：
$$\begin{gathered} w^T{x}_i+b\ge +1,y_i=+1 \\ {w}^T{x}_i+b\le -1,y_i=-1 \end{gathered}$$
合并后有：
$$y_i(w^T{x}_i+b)\ge 1$$
这个不等式的含义是，所有样本点都要满足位于边缘超平面以外。

点到超平面的距离 $r=\frac{|w^{T}x+b|}{||w||}$，对于支持向量，其满足 $y_i(w^T{x}_i+b)=1$，即 $|w^T{x}_i+b|=1$，而边缘超平面的距离取决于这些支持向量，故有边界距离 $\gamma =\frac{2}{||w||}$。

---

引入拉格朗日乘子

由于是最大边缘超平面，所以经过一定转化后有如下优化问题：
$$\begin{gathered} \underset{w,b}{\mathrm{argmin}}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,n. \end{gathered}$$
不等式约束优化问题，利用 $KKT$ 条件，引入拉格朗日乘子 ${\alpha }_i\ge 0$ 得到拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)$$
需满足 $KKT$ 条件：
$$\begin{array}{rl}& {\alpha }_i\ge 0;\\ & y_{i}f(x_i)-1\ge 0;\\ & {\alpha }_i(y_{i}f(x_i)-1)=0.\end{array}$$
令 $L(w,b,\alpha )$ 对 $w$ 和 $b$ 的偏导为零可得：
$$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i,\sum _{i=1}^n{\alpha }_i{y}_i=0$$

---

将原问题转化成其对偶问题

将上式带回到拉格朗日函数中，可消去 $w$ 和 $b$ 并得到对偶优化问题：
$$\begin{gathered} maxL(\alpha )=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,...,n. \end{gathered}$$
最小化原优化问题 $L(w,b,\alpha )$，即等价于最大化对偶问题 $L(\alpha )$，解出 $\alpha$ 后即可利用 $w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i$ 解得 $w$；对于所有 ${\alpha }_i>0$ 对应的支持向量 $x_i$，由于其满足 $y_i(w^T{x}_i+b)=1$，求出 $b$ 后取均值作为参数 $b$ 的最终取值。

---

序列最小化算法（SMO）求解上述对偶问题 $L(\alpha )$

• 选取一对需更新的变量 ${\alpha }_i$ 和 ${\alpha }_j$；
• 固定 ${\alpha }_i$ 和 $\alpha_j $ 以外的参数，带入求解对偶优化问题获得更新后的 ${\alpha }_i$ 和 ${\alpha }_j$。

由对偶优化问题的约束条件，当 ${\alpha }_i$ 和 ${\alpha }_j$ 固定时，实际上 ${\alpha }_j$ 可以用 ${\alpha }_i$ 加一常数来表示，带入 $L(\alpha )$ 后则是一个只关于变量 ${\alpha }_i$ 的二次规划问题，很容易求解。但是要主要满足 ${\alpha }_i\ge 0,i=1,2,...,n$，并且先前 $KKT$ 条件也必须满足。

---

支持向量回归（SVR）

不会