【机器学习基础】CH2 - 监督学习(4)支持向量机SVM

2.4 Support Vector Machine 支持向量机

正如我们在核岭回归中所见，尽管 kernel trick 使我们免于显式处理很大甚至无穷大的 feature space dimensions，计算 Gram matrix 时，我们也得计算每对儿点的 $k(x_i,x_j)$。

如果我们有 $N$ 个数据点，相当于每个预测/推断都有 $N^2$ 个运算。$N$ 很大时，很消耗成本。那么有没有用于计算大量数据的核方法呢？这就是 sparse kernel methods 稀疏核方法，一个例子就是核支持向量机。

2.4.1 线性支持向量机

1. Linear (Affine) Functions and Hyperplanes 线性函数和超平面

• 线性函数：
  $$f(x)=wx+b(Onedimension)$$

  $$f(x)=w^{T}x+b(Higherdimensions)$$

• 超平面：线性方程的解

  ​ 2维 $\to$ 一条线：$w_1{x}_1+w_2{x}_2+b=0$

  ​ 通常情况 $\to$ $w^T+b=0 $

考虑一个二元分类数据集 D={ xi,yi}i=1N\mathcal{D}=\{x_i,y_i\}^N_{i=1}D={ xi​,yi​}i=1N​，其中每个 $x_i\in {\mathbb{R}}^d$ 且每个 $y_i=1$ （class +）或 $y_i=-1$ （class -）。对于二元分类问题的一个很重要的概念是 linear separability 线性可分性。

• Definition 2.21: Linear Separability

  我们说 $\mathcal{D}$ 线性可分，当且仅当存在 $w\in {\mathbb{R}}^d$，使得
  $$w^T{x}_i+b>0if{y}_{}$$