DataWhale西瓜书（周志华《机器学习》）精读04

注

不小心把Task04的笔记覆盖了，此篇内容不作为参考。

第六章 神经网络

6.1 间隔与支持向量

如上图所示，间隔与支持向量解释为：

支持向量：距离超平面最近的样本点

间隔：两个不同种类支持向量到超平面的距离之和

支持向量机（SVM）就是要寻找具有最大间隔的超平面

划分超平面可通过如下线性方程来描述：

$${\omega }^{T}x+b=0$$

间隔可表示为：

$$\gamma =\frac{2}{\Vert \omega \Vert }$$

SVM的基本型：

$$\begin{gathered} \underset{w,b}{\max }\frac{2}{\Vert \omega \Vert } \\ \text{ s.t. }{y}_i({\omega }^T{x}_i+b)\ge 1,i=1,2,\dots m. \end{gathered}$$

等价于：

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert \omega \Vert }^2 \\ \text{ s.t. }{y}_i({\omega }^T{x}_i+b)\ge 1,i=1,2,\dots m. \end{gathered}$$

该问题的拉格朗日函数可写为：
$$L(\omega ,b,\alpha )=\frac{1}{2}{\Vert \omega \Vert }^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\omega }^T{x}_i+b))$$

6.2 对偶问题

经过求偏导，设为0，化简可得SVM的对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _m^{i=1}\sum _m^{j=1}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ \text{s.t.}\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,\dots ,m. \end{gathered}$$

6.3 核函数

非线性支持向量机（核函数）

若样本不能用直线分割，可以考虑升维，这个就是核函数的意义：

其中核函数分为：

• 线性核函数
• 多项式核函数
• 高斯核函数
• Gigmoid核函数
• 余弦相似度核函数

6.4 软间隔与正则化

硬间隔：不允许样本分类错误
软间隔：允许一定的样本分类错误

简单来说，软间隔有一定的容错率：

基本思路：

其中0/1损失函数也可以替换成hingo损失、指数损失或对率损失。

参考文献

[1]. DataWhale南瓜书PumpkinBook

[2]. 机器学习理论基础笔记

[3]. 第五章 神经网络｜ （周志华-机器学习）｜学习总结