5、机器学习中的VC维：理论与应用

机器学习中的VC维：理论与应用

1. 引言

在机器学习领域，确定哪些假设类是可学习的以及学习给定假设类所需的样本复杂度是至关重要的问题。之前我们知道有限类是可学习的，但所有函数的类（在无限大小的域上）是不可学习的。那么，是什么使得一个类可学习而另一个不可学习呢？无限大小的类是否可以学习，如果可以，又是什么决定了它们的样本复杂度呢？本文将深入探讨这些问题，引入VC维的概念，并阐述其与可学习性和样本复杂度的关系。

2. 无限大小的类可以是可学习的

我们先来看一个无限大小假设类可学习的例子。考虑实数线上的阈值函数类 $H = {h_a : a \in R}$，其中 $h_a : R \to {0, 1}$ 定义为 $h_a(x) = 1[x < a]$。显然，$H$ 是无限大小的。然而，下面的引理表明 $H$ 在PAC模型中使用ERM算法是可学习的。

引理6.1 ：设 $H$ 是前面定义的阈值类。那么，$H$ 使用ERM规则是PAC可学习的，样本复杂度为 $m_H(\epsilon, \delta) \leq \lceil\log(2 / \delta) / \epsilon\rceil$。

证明过程如下：
设 $a^ $ 是一个阈值，使得假设 $h^ (x) = 1[x < a^ ]$ 实现 $L_D(h^ ) = 0$。设 $D_x$ 是域 $X$ 上的边缘分布，并且 $a_0 < a^ < a_1$ 满足 $P_{x \sim D_x}[x \in (a_0, a^ )] = P_{x \sim D_x}[x \