7、深入理解VC维度：学习能力的关键指标

深入理解VC维度：学习能力的关键指标

1. 引言

在机器学习领域，我们常常面临一个核心问题：如何判断一个假设类是否可学习，以及学习该假设类所需的样本复杂度是多少。之前我们知道有限类是可学习的，但无限类的情况则更为复杂。本文将探讨无限类的可学习性，并引入一个重要概念——Vapnik - Chervonenkis维度（VC维度），它能准确刻画假设类的可学习性。

2. 无限类的可学习性

2.1 阈值函数示例

考虑实数线上的阈值函数类 $H = {h_a : a \in \mathbb{R}}$，其中 $h_a(x) = 1[x < a]$。显然，$H$ 是无限大小的。然而，通过以下引理可以证明，使用经验风险最小化（ERM）算法，$H$ 在PAC模型中是可学习的。
- 引理6.1 ：设 $H$ 为上述定义的阈值函数类，则 $H$ 是PAC可学习的，使用ERM规则，样本复杂度为 $m_H(\epsilon, \delta) \leq \lceil \log(2 / \delta) / \epsilon \rceil$。
- 证明思路 ：
- 设 $a^ $ 是一个阈值，使得假设 $h^ (x) = 1[x < a^ ]$ 达到 $L_D(h^ ) = 0$。
- 定义 $a_0 < a^ < a_1$，使得 $P_{x \sim D_x}[x \in (a_0, a^ )] = P_{x \sim D_x}[x \in (a^ , a_1)] = \