8、机器学习中的可学习性与结构风险最小化

机器学习中的可学习性与结构风险最小化

1. 学习理论基础与VC维

学习理论的基本定理通过VC维来刻画二元分类器类的PAC可学习性。VC维是一个组合性质，它表示一个类能够打散的最大样本大小。该基本定理指出，一个类是PAC可学习的，当且仅当它的VC维是有限的，并且它还规定了PAC学习所需的样本复杂度。此外，如果一个问题是可学习的，那么一致收敛性成立，因此可以使用经验风险最小化（ERM）规则来学习该问题。

VC维的定义及其与可学习性和一致收敛性的关系源于Vapnik和Chervonenkis在1971年的开创性工作。而它与PAC可学习性定义的关系则由Blumer、Ehrenfeucht、Haussler和Warmuth在1989年提出。

已经提出了几种VC维的推广形式。例如，胖打散维度刻画了一些回归问题的可学习性，而Natarajan维度则刻画了一些多类学习问题的可学习性。不过，一般来说，可学习性和一致收敛性之间并没有等价关系。

Sauer引理由Sauer在解决Erdos提出的问题时证明。Shelah（与Perles）将其作为Shelah稳定模型理论的有用引理进行了证明。后来，Vapnik和Chervonenkis在统计学习理论的背景下也证明了该引理。

2. VC维相关练习

以下是一些关于VC维的练习，通过这些练习可以加深对VC维概念的理解。
- 单调性质 ：对于任意两个假设类，如果$H′ ⊆ H$，那么$VCdim(H′) ≤ VCdim(H)$。
- 特定类的VC维计算
- 给定有限域集$X$和数$k ≤ |X|$