17、支持向量机与决策树：原理、应用与实践

支持向量机与决策树：原理、应用与实践

支持向量机（SVM）

支持向量机是一种强大的机器学习算法，在分类和回归任务中都有广泛应用。下面将深入探讨其目标函数、对偶问题、核技巧以及在线SVM等方面。

目标函数与对偶问题

支持向量机的目标函数是凸函数，不等式约束是连续可微的凸函数。对偶问题的解通常为原始问题的解提供一个下界，但在某些条件下，二者的解相同，而支持向量机问题恰好满足这些条件。因此，我们可以选择求解原始问题或对偶问题，它们会得到相同的解。

对偶形式的线性SVM目标函数如下：

minimize
α
1
2 ∑
i = 1
m
∑
j = 1
m
α i α j t i t j x i ⊺x j
−
∑
i = 1
m
α i
subject to
α i ≥0
for i = 1, 2, ⋯, m

找到使上述方程最小化的向量α（使用QP求解器）后，可通过以下公式计算使原始问题最小化的w和b：

w = ∑
i = 1
m
α i t i x i
b = 1
ns ∑
i = 1
α i > 0
m
t i −w⊺x i

当训练实例数量少于特征数量时，求解对偶问题比原始问题更快。更重要的是，对偶问题使核技巧成为可能，而原始问题则不能。

核技巧与核化SVM

假设我们要对二维训练集（如半月形训练集）应用二次多项式变换，然后在变换后的训练集上训练线性SVM分类器。二次多