17、统计学习中的模型选择与多类分类方法

统计学习中的模型选择与多类分类方法

在统计学习领域，找到最优模型以及处理多类分类问题是两个关键的研究方向。本文将介绍结构风险最小化方法以寻找最优模型，以及使用二元支持向量机进行多类分类的两种常见技术。

结构风险最小化

在寻找最优模型时，我们面临着一个优化问题，即最小化经验风险和一个与模型复杂度相关的项之和。这个优化问题可以表示为：
[
\hat{f}^* = \arg\min_{\hat{f} \in \hat{F}} \left{ R_{emp}[\hat{f}] + \upsilon(l, h_{\hat{f}}, \eta) \right}
]
其中，(\hat{F}) 是所有模型类的超类，(R_{emp}[\hat{f}]) 是经验风险，(\upsilon(l, h_{\hat{f}}, \eta)) 是与样本数量 (l)、模型的 VC 维 (h_{\hat{f}}) 和置信水平 (\eta) 相关的项。从直观上看，这个优化问题的解就是使泛化界最小的模型。

然而，模型类 (\hat{F}) 通常是无限的，盲目遍历它来寻找最优模型可能不是一个有效的方法。Vapnik 提出了结构风险最小化的方法，利用模型子类的 VC 维作为指导来寻找最优模型。

假设我们有一类线性模型 (\hat{F})，其中包含一系列子类 (\hat{F}[\gamma_1], \ldots, \hat{F}[\gamma_k] \subset \hat{F})，并且满足 (\hat{F}[\gamma_1] \subset \hat{F}[\gamma_2] \subset \cdots \subset \hat{F}[\gamma_k])，当