第七章 支持向量机

支持向量机可分为：线性可分支持向量机，线性支持向量机，非线性支持向量机
线性可分支持向量机：当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机，又称硬间隔支持向量机；
线性支持向量机：当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机，又称软间隔支持向量机；
非线性支持向量机：当训练数据线性不可分时，通过适用核技巧或软间隔最大化，学习非线性支持向量机；

线性可分支持向量机与硬间隔最大化

定义1.1（线性可分支持向量机） 给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为

$$w^* \cdot x + b^* =0\tag{1}$$ 以及相应的分类决策函数 $$f(x) = sign(w^* \cdot x + b^*) \tag{2}$$ 称为线性可分支持向量机
算法1.1（线性可分支持向量机学习算法——最大间隔法）
输入：线性可分训练数据集 $T = {(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$，其中， $x_i \in \chi=R^n$, $y_i \in Y=\{-1,+1\}$, $i=1,2,...,N$；
输出：最大间隔分离超平面和分类决策函数。
（1）构造并求解约束最优化问题： $$\min_{w,b} \frac{1}{2}||w||^2$$ $$s.t. \quad y_i(w \cdot x_i + b)-1 \ge 0$$ 求得最优解 $w^*,b^*$
（2）由此得到分类超平面： $$w^* \cdot x + b^* =0$$ 分类决策函数 $$f(x) = sign(w^* \cdot x + b^*)$$
算法1.2（线性可分支持向量机学习算法）
输入：线性可分训练数据集 $T = {(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$，其中， $x_i \in \chi=R^n$, $y_i \in Y=\{-1,+1\}$, $i=1,2,...,N$;
输出：最大间隔分离超平面和分类决策函数。
（1）构造并求解约束最优化问题： $$\min_{\alpha} \frac{1}{2}\sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j(x_i \cdot x_j)-\sum_{i+1}^N \alpha_i$$ $$s.t. \quad \sum_{i=1}^{N} \alpha_{i}y_i =0$$ $$\alpha_i \ge 0,i = 1,2,...,N$$ 求得最优解 $$\alpha^* = (\alpha_1^*,\alpha_2^*,...,\alpha_N^*)^T$$
（2）计算 $$w^* = \sum_{i=1}^N {\alpha_i^*y_ix_i}$$ 并选择 α∗