8、机器学习中的可学习性与结构风险最小化

机器学习中的可学习性与结构风险最小化

1. VC 维度相关基础

1.1 VC 维度与 PAC 可学习性

VC 维度是衡量一个分类器类的组合性质的指标，它表示该类能够打散的最大样本大小。学习理论的基本定理指出，一个二元分类器类是 PAC 可学习的，当且仅当它的 VC 维度是有限的，并且该定理还规定了 PAC 学习所需的样本复杂度。此外，如果一个问题是可学习的，那么一致收敛性成立，因此可以使用经验风险最小化（ERM）规则来学习该问题。

1.2 VC 维度的相关研究历史

VC 维度的定义及其与可学习性和一致收敛性的关系源于 Vapnik 和 Chervonenkis 在 1971 年的开创性工作。而它与 PAC 可学习性定义的关系则归功于 Blumer、Ehrenfeucht、Haussler 和 Warmuth 在 1989 年的研究。此后，还提出了 VC 维度的几种推广，例如 fat - 打散维度用于刻画某些回归问题的可学习性，Natarajan 维度用于刻画某些多类学习问题的可学习性。

1.3 VC 维度的性质与计算练习

以下是一些关于 VC 维度的性质和计算练习：
- 单调性 ：对于任意两个假设类，如果 (H’\subseteq H)，那么 (VCdim(H’)\leq VCdim(H))。
- 特定类的 VC 维度计算 ：
- 给定有限域集 (X) 和 (k\leq|X|)，计算 (H_{X = k}={h\in{0,1}^X:|{x:h(x)=1}| = k}) 和 (H_{at - most -