支持向量机 (Support Vector Machine, SVM)

1. 定义（与逻辑回归(Logistic Regression, LR)的比较）

1. Hypothesis函数：

LR:

$h_\theta (x) = g ( \theta^T x )= \dfrac{1}{1 + e^{-\theta^T x }}$

SVM:

$h_\theta (x) = 1\quad\quad \text{if}\ \ \ \theta^T x\geq0\\h_\theta (x) = 0\quad\quad \text{if}\ \ \ \theta^T x\lt0$

2. Cost函数：

LR：

$\frac{1}{m} \sum\limits_{i=1}^m \left[y^{(i)}\Bigl(-\log h_\theta (x^{(i)})\Bigr) + (1 - y^{(i)})\Bigl(-\log (1 - h_\theta(x^{(i)}))\Bigr)\right]+\frac{\lambda}{2m}\sum\limits_{j=1}^n \theta_j^2$

SVM：

$C\sum\limits_{i=1}^{m}\left[y^{(i)}\text{cost}_1(\theta^Tx^{(i)}) + (1-y^{(i)}) \text{cost}_0(\theta^Tx^{(i)})\right]+\frac{1}{2}\sum\limits_{j=1}^n\theta^2_j$
其中$\text{cost}_1,\text{cost}_0$的图像（$\theta^Tx$即$z$）：

由图像可知，为使Cost函数最小，需要：
$y=1$时，尽量使$\theta^Tx\geq1$
$y=0$时，尽量使$\theta^Tx\leq-1$

---

2. 用Kernel函数定义新特征

1. 原理

给定训练样本$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})$
令$l^{(1)}=x^{(1)},l^{(2)}=x^{(2)},...,l^{(m)}=x^{(m)}$

对任一$x$，有：
$f_1=\text{similarity}(x,l^{(1)})\\f_2=\text{similarity}(x,l^{(2)})\\\vdots\\f_m=\text{similarity}(x,l^{(m)})\\$
即用Kernel函数表示$x$与$l$的相似程度。一般常将高斯函数用作Kernal函数 (Gaussian Kernel)：
$f\left(x\right)=ae^{-{\frac {(x-b)^{2}}{2c^{2}}}}$

由此可得特征向量 (Feature Vector)：
$f=\begin{bmatrix}f_0\\f_1\\f_2\\ \vdots \\f_m\end{bmatrix}$
类似$x_0$，$f_0=1$

即实现了原特征向量的如下映射：
$X\in\mathbb R^{n+1}\rightarrow f\in\mathbb R^{m+1}$

2. Hypothesis函数：

$y = 1\quad\quad \text{if}\ \ \ \theta^T f\geq0\\y = 0\quad\quad \text{if}\ \ \ \theta^T f\lt0$

3. Cost函数 $(n=m)$：

$C\sum\limits_{i=1}^{m}\left[y^{(i)}\text{cost}_1(\theta^Tf^{(i)}) + (1-y^{(i)}) \text{cost}_0(\theta^Tf^{(i)})\right]+\frac{1}{2}\sum\limits_{j=1}^n\theta^2_j$