7、理解VC维：机器学习可学习性的关键指标

理解VC维：机器学习可学习性的关键指标

1. 引言

在机器学习中，我们常常关注一个假设类是否可学习，以及学习它所需的样本复杂度。之前我们知道有限假设类是可学习的，且样本复杂度与类的大小的对数相关。然而，类的大小并非衡量样本复杂度的准确指标。本文将探讨无限假设类的可学习性，并引入一个重要概念——Vapnik - Chervonenkis维度（VC维），它能准确刻画假设类的可学习性。

2. 无限大小的假设类也可学习

2.1 阈值函数示例

考虑实数线上的阈值函数类 $H = {h_a : a \in R}$，其中 $h_a : R \to {0, 1}$ 定义为 $h_a(x) = 1[x < a]$（当 $x < a$ 时为 1，否则为 0）。显然，$H$ 是无限大小的。

但通过以下引理可知，使用经验风险最小化（ERM）算法，$H$ 在PAC模型中是可学习的。

引理 2.1 ：设 $H$ 为上述定义的阈值函数类，则 $H$ 是PAC可学习的，使用ERM规则，样本复杂度 $m_H(\epsilon, \delta) \leq \lceil\log(2 / \delta) / \epsilon\rceil$。

证明 ：
设 $a^ $ 是一个阈值，使得假设 $h^ (x) = 1[x < a^ ]$ 满足 $L_D(h^ ) = 0$。设 $D_x$ 是定义域 $X$ 上的边缘分布，取 $a_0 < a^ < a_1$，使得 $P_{x \sim D