5、形式化学习模型与均匀收敛学习法解析

形式化学习模型与均匀收敛学习法解析

1. 学习模型基础概念

在学习算法中，存在两种学习类型：恰当学习与表示无关学习。通常，算法要求从假设类 (H) 中返回一个假设。但在某些情况下，(H) 是 (H’) 的子集，且损失函数可自然扩展到 (H’ \times Z) 到实数的映射。此时，只要算法返回的假设 (h’ \in H’) 满足 (L_D(h’) \leq \min_{h \in H} L_D(h) + \epsilon)，就允许其输出 (h’)。这种允许算法从 (H’) 输出假设的学习方式被称为表示无关学习，而要求算法必须从 (H) 输出假设的则是恰当学习。尽管有时表示无关学习被称为“不恰当学习”，但实际上它并无不当之处。

PAC 学习是一种重要的形式化学习模型。基本的 PAC 模型依赖于可实现性假设，而不可知变体则不对示例的底层分布施加任何限制。同时，PAC 模型也被推广到了任意损失函数的情况。在某些情况下，我们会简单地将最通用的模型称为 PAC 学习，省略“不可知”前缀，让读者从上下文推断底层损失函数。当强调处理原始 PAC 设置时，我们会提及可实现性假设成立。

2. PAC 学习相关定义与发展

PAC 学习由 Valiant 在 1984 年引入，他也因引入 PAC 模型而获得 2010 年图灵奖。Valiant 对 PAC 学习的定义要求样本复杂度在 (1 / \epsilon)、(1 / \delta) 以及假设类中假设的表示大小上是多项式的，同时学习算法的运行时间也需在这些量上是多项式的。不过，我们选择区分学习的统计方面和计算方面，后续会详细探讨计算方面。不可知 PAC 学习的形式化则归功于 Haussler 在 1992 年的工作。