5、形式化学习模型与一致收敛学习法

形式化学习模型与一致收敛学习法

在机器学习领域，形式化学习模型的研究对于理解和评估学习算法的性能至关重要。本文将介绍两种重要的学习模型相关内容，包括 PAC 学习模型的相关概念和性质，以及通过一致收敛进行学习的方法。

1. PAC 学习模型

PAC（Probably Approximately Correct）学习模型是机器学习中的一个基础形式化模型。它有两种主要变体：基本模型依赖于可实现性假设，而不可知变体则不对示例的底层分布施加任何限制。

1.1 适当学习与表示无关学习

在之前的定义中，要求算法返回的假设来自假设类 $H$。但在某些情况下，$H$ 是集合 $H’$ 的子集，且损失函数可以自然地扩展为从 $H’ \times Z$ 到实数的函数。此时，只要算法返回的假设 $h’ \in H’$ 满足 $L_D(h’) \leq \min_{h \in H} L_D(h) + \epsilon$，就允许算法输出这样的假设。允许算法从 $H’$ 输出假设的学习方式称为表示无关学习，而算法必须从 $H$ 输出假设的学习方式称为适当学习。表示无关学习有时也被称为“不适当学习”，但实际上这种学习方式并没有什么不适当之处。

1.2 样本复杂度的单调性

设 $H$ 是用于二分类任务的假设类，且 $H$ 是 PAC 可学习的，其样本复杂度由 $m_H(\cdot, \cdot)$ 给出。可以证明 $m_H$ 在其每个参数上都是单调非递增的。即对于给定的 $\delta \in (0, 1)$ 和 $0 < \epsilon_1 \leq \epsilon_2 < 1$，有 $m_H(\epsilon_1, \delta) \geq