22、支持向量机训练方法解析

支持向量机训练方法解析

1. 引言

支持向量机（SVM）是一种强大的机器学习算法，在分类和回归任务中表现出色。其训练过程通常涉及求解二次规划问题，而本文将深入探讨基于最速上升法和牛顿法的训练方法，并对L1和L2软间隔支持向量机的训练进行详细分析。

2. 无约束二次规划问题的求解

2.1 问题定义

考虑如下无约束的一般二次规划问题：
[
\max Q(x) = c^{\top}x - \frac{1}{2}x^{\top}H x
]
其中，$x$ 是 $m$ 维变量向量，$c$ 是 $m$ 维常量向量，$H$ 是 $m × m$ 对称半正定矩阵。

2.2 求解方法

2.2.1 牛顿法

将变量集 ${x_i | i, \cdots, m}$ 分解为工作集 $x_W = {x_i | i \in W}$ 和固定集 $x_N = {x_i | i \in N}$，其中 $W$ 和 $N$ 是索引集，满足 $W \cup N = {1, \cdots, m}$ 且 $W \cap N = \varnothing$。删除仅与 $x_N$ 相关的常量项后，问题变为：
[
\max Q(x_W) = c_W^{\top}x_W - \frac{1}{2}x_W^{\top}H_{WW}x_W - x_W^{\top}H_{WN}x_N
]
对于当前的 $x_W^{old}$，新的 $x_W^{new}$ 可通过以下方式获得：
[
x_W^{new} = x_W^{old} + \Delta x_W^{o