吴恩达机器学习课程-第七周

1.支持向量机SVM

1.1 优化目标

在逻辑回归中，针对一个样本的损失函数如下：

​ $-y^{(i)}log(h_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)})=-y^{(i)}log(\frac{1}{1+e^{-{\theta }^T\cdot x}})+(1-y^{(i)})log(1-\frac{1}{1+e^{-{\theta }^T\cdot x}})$

假设以$z={\theta }^T\cdot x$为横坐标，上述损失函数的值为纵坐标，当$y$取不同值时可以画出不同的图像：

上图中的蓝色曲线为原始的图像，而紫红色的直线是与曲线很相似的直线。如果使用新的代价函数表达紫红色的线，则可以表示为： $\underset{\theta }{\min }C{\sum }_{i=1}^m\left[y^{(i)}{\mathrm{cost}}_1\left({\theta }^T{x}^{(i)}\right)+\left(1-y^{(i)}\right){\mathrm{cost}}_0\left({\theta }^T{x}^{(i)}\right)\right]+\frac{1}{2}{\sum }_{i=1}^n{\theta }_j^2$

​转换后的代价函数即支持向量机的代价函数。其中$cos{t}_1({\theta }^T{x}^{(i)})=-log{h}_{\theta }(x^{(i)}),cos{t}_0({\theta }^T{x}^{(i)})=-log(1-h_{\theta }(x^{(i)}))$，分别表示两个子图中紫红色的线，且上式中把前后两个部分中的常量$\frac{1}{m}$以及正则化项中的$\lambda$删除，改为第一项中的$C$，这是SVM常用表达形式，实际含义并没有改变：原来的式子可以理解为$A+\lambda B$，如果$\lambda$值较大说明给$B$在代价函数的权重较大；现在修改为$CA+B$，当$C$的值较小时，变相增加了$B$在代价函数中的权重，当$C=\frac{1}{\lambda }$时，两个式子在梯度更新时会到相同的值

1.2 大边界的直观理解

下图是SVM代价函数的图像。当$y=1$时(对应左子图)，为了使损失值最小需要$z={\theta }^{T}x\ge 1$；当$y=0$时(对应右子图)，为了使损失值最小需要$z={\theta }^{T}x\le -1$。但是在逻辑回归中当$y=1$时，仅需要${\theta }^{T}x\ge 0$即可将样本正确归类为正样本；当$y=0$时，仅需要${\theta }^{T}x<0$即可将样本正确归类为负样本：

从上述分析可以看出SVM的要求更高，需要一个安全间距

当把$C$值设置的很大时，此时需要找出使得第一项为0的参数$\theta$。假设选择了能使得第一项为0的参数$\theta$，则必然要遵循约束条件，即当$y=1$时，${\theta }^{T}x\ge 1$以及当$y=0$时，${\theta }^{T}x\le -1$：

为什么SVM被称为大间距分类器?对于下图中的数据集，可以使用多条直线将正负样本分开，如图中紫红色和绿色的直线。而黑线相较于这两条线直观上把两类样本分开的更好，因为黑线与样本间有着更大的最短距离(离两类样本存在两个距离值，其中较小的值)，意味着SVM具有鲁棒性，这个距离被称为SVM的间距：

当将$C$设置的很大时，异常点会严重影响决策边界。在下图中，当$C$较大时，黑线是未加入左下角的红色叉(异常点)得到的决策边界。加入了异常点后，为了将样本用最大间距分开，决策边界由黑线变为紫红色的线，这显然不太好(可以理解为过拟合)。所以当$C$设置的值没有很大时，可以忽略异常点的影响，得到类似黑线这样较好的决策边界：

1.3 大边界分类背后的数学

首先回顾向量内积的直观理解，对于两个向量$u=[u_1,u_2{]}^T,v=[v1,v2{]}^T$,$p$为$v$在$u$上的投影($p$也是有正负值的，但不是向量)，则$u^{T}v=p\cdot ||u||=u_1{v}_1+u_2{v}_2$：

下面通过内积性质理解SVM的目标函数：

首先令${\theta }_0=0$，且将特征数设置为$n=2$，于是将目标函数转换为:

​ $\underset{\theta }{\min }\frac{1}{2}{\sum }_{j=1}^n{\theta }_j^2=\frac{1}{2}({\theta }_1^2+{\theta }_2^2)=\frac{1}{2}({\sqrt{{\theta }_1^2+{\theta }_2^2)}}^2=\frac{1}{2}||\theta |{|}^2$

通过前面对内积的直观介绍，约束条件${\theta }^T{x}^{(i)}=p^{(i)}||\theta ||$，$p^{(i)}$表示$x^{(i)}$在$\theta$上的投影。因此目标函数如下所示：

在下面左子图中的两类样本，假设以绿线作为决策边界(即${\theta }^{T}x=0$，这里绿线之所以经过原点是因为${\theta }_0=0$)，则蓝色向量$\theta$与绿线正交，所以一个决策边界对应着一个参数$\theta$向量。假设红叉为正样本，蓝圈为负样本，则图中正样本$x^{(1)}$和负样本$x^{(2)}$在$\theta$上的投影长度十分的短，要满足$p^{(i)}||\theta ||\ge 1$和$p^{(i)}||\theta ||\le -1$则需要$||\theta ||$的值要很大，但是目标函数是希望$||\theta ||$的值尽量的小，所以$\theta$的方向不好(即决策边界的选择不好)。

SVM会根据目标函数选择下面右子图中的决策边界，因为该边界让$||\theta ||$变得更小：

1.4 核函数Ⅰ

为了获取下图中的判定边界，模型可能是$h(\theta )={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+...$的形式，此时假设$f_1=x_1,f_2=x_2,f_3=x_1{x}_2,...$，则$h(\theta )={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+...+{\theta }_n{f}_n$。除了对原特征进行组合外，是否有更好的方法构造$f_1,f_2,...$？这就需要核函数

假设给定一个样本$x$，利用$x$和预先选定的标记$l^{(1)}、l^{(2)}、l^{(3)}$的近似程度作为$f_1、f_2、f_3$：

​ $f_1=\mathrm{similarity}\left(x,l^{(1)}\right)=e\left(-\frac{{\Vert x-l^{(1)}\Vert }^2}{2{\sigma }^2}\right)$

​ $f_2=\mathrm{similarity}\left(x,l^{(2)}\right)=e\left(-\frac{{\Vert x-l^{(2)}\Vert }^2}{2{\sigma }^2}\right)$

​ $f_3=\mathrm{similarity}\left(x,l^{(3)}\right)=e\left(-\frac{{\Vert x-l^{(3)}\Vert }^2}{2{\sigma }^2}\right)$

其中，$\mathrm{similarity}\left(x,l^{(i)}\right)$就是核函数(该函数是高斯核函数)，通常采用$k(x,l^{(i)})$表示。当$x$与标记$l^{(i)}$的距离越近，则特征$f_i$近似于$e^{-0}=1$；当$x$与标记$l^{(i)}$的距离越远，则特征$f_i$近似于$e^{-bignum}=0$。从下图中可以直观理解，当$l^{(1)}=[3,5{]}^T$时，如果$x=[3,5{]}^T$，则$z$轴最高($z$轴表示$f_1$的值，$x$和$y$轴分别表示$x_1$和$x_2$)。另外$\sigma$的值会控制$f_1$的值随$x$的改变而改变的速率：

那么核函数如何确定决策边界？假设在$h_{\theta }(x)={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3$，此时参数已知，分别为${\theta }_0=0.5,{\theta }_1={\theta }_2=1,{\theta }_3=0$。对于下图中的紫红色样本点，可以看出它离$l^{(1)}$较近，离$l^{(2)}$和$l^{(3)}$较远，所以$f_1\approx 1,f_2\approx 0,f_3\approx 0$，所以$h_{\theta }(x)>0$，即预测该样本点为正样本点。同理预测绿色样本点为正样本点，青蓝色样本点为负样本点，最终得出红色的决策边界。可以看出在上述计算中并没有使用到样本的特性值$x_1、x_2、x_3$，而是使用核函数计算出的新特征$f_1、f_2、f_3$：

1.5 核函数Ⅱ

在1.4节中只是直观介绍了核函数的概念和作用，但是还不知道如何选取标记$l^{(i)}$。通常是根据训练集的数量选择标记数，假设有$m$个样本，则选取$m$个标记，这样得到的新特征是建立在单个样本点和其他所有样本点间的距离上的。假如将每一个样本点作为一个标记，则新特性可以表示为：

所以SVM的目标函数转换为$\underset{\theta }{\min }C{\sum }_{i=1}^m\left[y^{(i)}{\mathrm{cost}}_1\left({\theta }^T{f}^{(i)}\right)+\left(1-y^{(i)}\right){\mathrm{cost}}_0\left({\theta }^T{f}^{(i)}\right)\right]+\frac{1}{2}{\sum }_{i=1}^{n=m}{\theta }_j^2$，并且在计算${\sum }_{i=1}^{n=m}{\theta }_j^2={\theta }^T\theta$时会使用${\theta }^{T}M\theta$进行代替，由于简化计算，其中$M$随着核函数的不同而变化

​ 注意：当SVM不使用核函数时，称为线性核函数，即目标函数还是${\theta }^{T}x$

下面来看下$C=\frac{1}{\lambda }$和$\sigma$对SVM的影响：

• 当$C$较大时，相当于$\lambda$较小，可能会导致过拟合，高方差
• 当$C$较小时，相当于$\lambda$较大，可能会导致欠拟合，高偏差
• 当$\sigma$较大时，特征$f_i$的变化较平滑，可能会导致低方差，高偏差
• 当$\sigma$较小时，特征$f_i$的变化较剧烈，可能会导致低偏差，高方差

1.6 SVM的使用

要使用SVM，必须做以下几件事：

• 选择合适的$C$值
• 选择核函数(也可以不使用核函数)，核函数除了高斯核函数，还有多项式核函数等，但是目标都是根据样本和标记间的距离构建新特征
• 选择合适的$\sigma$值

对于SVM的使用是存在普遍准则的，$m$为样本数，$n$为特征数：

• 如果$n$相较于$m$要大许多，即训练集数据量不够支持训练一个复杂的非线性模型，则选用逻辑回归模型或者不带核函数的SVM

• 如果$n$较小，$m$大小适中，则使用高斯核函数的SVM

• 如果$n$较小，$m$较大，则使用SVM会非常慢，此时需要创造更多的特征，然后使用逻辑回归或不带核函数的SVM

神经网络在以上三种情况下都可能会有较好的表现，但是训练神经网络可能非常慢，选择支持向量机的原因主要在于它的代价函数是凸函数，不存在局部最小值

2.参考

https://www.bilibili.com/video/BV164411b7dx?p=70-75

http://www.ai-start.com/ml2014/html/week7.html