机器学习 第六章 支持向量机

第六章 支持向量机学习笔记

1. 间隔与支持向量

1.1 什么是间隔和支持向量？

在分类学习中，目标是找到划分超平面将不同类别样本分开。最优超平面应位于两类样本的"正中间"，这种超平面对局部扰动容忍性最好，具有最强泛化能力。

1.2 如何找到最大间隔划分超平面？

• 超平面方程：$w^{T}x+b=0$（$w$为法向量，$b$为位移项）
• 样本约束条件：
  • $y_i=+1$时，$w^T{x}_i+b\ge 1$
  • $y_i=-1$时，$w^T{x}_i+b\le -1$
• 优化目标：最大化$\frac{2}{\Vert w\Vert }$等价于最小化$\frac{1}{2}\Vert w{\Vert }^2$

1.3 支持向量机的基本型

$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\text{s.t.}{y}_i(w^T{x}_i+b)\ge 1,i=1,2,\dots ,m$$

2. 对偶问题

2.1 什么是对偶问题？

通过拉格朗日乘子法转换的优化问题：
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
约束条件：
$$\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\dots ,m$$

2.2 如何求解对偶问题？

使用SMO（序列最小优化）算法求解二次规划问题

2.3 代码实现

import numpy as np
from sklearn.svm import SVC

X = np.array([[1,2], [2,3], [3,3], [2,1], [3,2], [4,3]])
y = np.array([1,1,1,-1,-1,-1])

clf = SVC(kernel='linear', C=1.0)
clf.fit(X, y)

print("支持向量:", clf.support_vectors_)
print("权重:", clf.coef_[0])
print("偏置:", clf.intercept_[0])

3. 核函数

3.1 什么是核函数？

将样本映射到高维空间的函数，常用核函数：

• 线性核：$K(x_i,x_j)=x_i^T{x}_j$
• 多项式核：$K(x_i,x_j)=(x_i^T{x}_j+c{)}^d$
• 高斯核：$K(x_i,x_j)=\exp (-\gamma \Vert x_i-x_j{\Vert }^2)$

3.2 核函数选择策略

数据类型	推荐核函数
线性可分	线性核
小样本非线性	高斯核
大样本非线性	多项式核

3.3 代码实现

clf = SVC(kernel='rbf', C=1.0, gamma=0.1)
clf.fit(X, y)
print("支持向量:", clf.support_vectors_)

4. 软间隔与正则化

4.1 软间隔概念

允许部分样本不满足约束，提升模型容错性：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i$$

4.2 正则化类型

• L1正则化：稀疏解
• L2正则化：非稀疏解

4.3 代码实现

clf = SVC(kernel='linear', C=0.5)  # C值越小容错性越强
clf.fit(X, y)

5. 支持向量回归（SVR）

5.1 SVR原理

允许预测值与真实值存在$ϵ$偏差：
$$\min \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m({\xi }_i+\widehat{{\xi }_i})$$

5.2 代码实现

from sklearn.svm import SVR

X = np.array([[1],[2],[3],[4],[5]])
y = np.array([1,2,3,4,5])

clf = SVR(kernel='linear', epsilon=0.1)
clf.fit(X, y)
print("预测值:", clf.predict(X))

6. 注意点

1. SVM核心思想是通过最大化间隔提升泛化能力
2. 对偶问题转换和核技巧是处理非线性问题的关键
3. 正则化参数C平衡模型复杂度与训练误差
4. SVR通过$ϵ$-不敏感函数实现鲁棒回归
5. 实际应用中需注意特征缩放和参数调优