92、稀疏核机器：支持向量机的深入剖析

稀疏核机器：支持向量机的深入剖析

1. 误差函数比较

在机器学习中，不同的误差函数有着不同的特性和适用场景。为了与其他误差函数进行比较，我们可以将某个误差函数除以 $\ln(2)$，使其经过点 $(0, 1)$。这个重新缩放后的误差函数与支持向量误差函数形式相似，不过 ESV(yt) 中的平坦区域会导致稀疏解。

逻辑误差和铰链损失都可看作是对分类误差的连续近似。而平方误差也常被用于解决分类问题，但它存在一个问题：会对正确分类但离决策边界较远的数据点赋予越来越大的权重，这是以牺牲错误分类的点为代价的。所以，如果目标是最小化分类错误率，那么单调递减的误差函数会是更好的选择。

2. 多类支持向量机

支持向量机本质上是一个二分类器，但在实际应用中，我们常常需要处理 $K > 2$ 类的问题。因此，人们提出了多种方法来组合多个二分类 SVM 以构建多类分类器。

2.1 一对其余方法

一种常用的方法是构建 $K$ 个独立的 SVM，其中第 $k$ 个模型 $y_k(x)$ 使用来自类 $C_k$ 的数据作为正例，其余 $K - 1$ 类的数据作为负例进行训练，这就是“一对其余”方法。然而，使用各个分类器的决策可能会导致不一致的结果，即一个输入可能会同时被分配到多个类中。

为了解决这个问题，有时会使用 $y(x) = \max_k y_k(x)$ 来对新输入 $x$ 进行预测。但这种启发式方法存在问题，因为不同的分类器是在不同的任务上训练的，不能保证不同分类器的实值量 $y_k(x)$ 具有合适的尺度。

此外，“一对其余”方法的训练集是不平衡的。例如，如果有十个类，每个类的训练数据