3、形式化学习模型：PAC学习及其扩展

形式化学习模型：PAC学习及其扩展

1. PAC学习基础

PAC（Probably Approximately Correct）学习是一种重要的形式化学习模型。在之前的研究中发现，对于有限假设类，如果使用经验风险最小化（ERM）规则，并且训练样本足够大（样本大小与底层分布或标记函数无关），那么输出的假设很可能是近似正确的。

1.1 PAC可学习性定义

一个假设类 $H$ 是PAC可学习的，如果存在一个函数 $m_H : (0, 1)^2 \to \mathbb{N}$ 和一个学习算法，满足以下性质：对于任意的 $\epsilon, \delta \in (0, 1)$，任意的 $X$ 上的分布 $D$，以及任意的标记函数 $f : X \to {0, 1}$，如果关于 $H$、$D$ 和 $f$ 的可实现性假设成立，那么当学习算法在由 $D$ 生成并由 $f$ 标记的 $m \geq m_H(\epsilon, \delta)$ 个独立同分布（i.i.d.）示例上运行时，算法返回一个假设 $h$，使得（在示例的选择上）至少以 $1 - \delta$ 的概率，有 $L_{(D,f)}(h) \leq \epsilon$。

这里的 $\epsilon$ 是精度参数，决定了输出分类器与最优分类器的接近程度；$\delta$ 是置信度参数，表示分类器满足精度要求的可能性。由于训练集是随机生成的，可能存在不具信息性的情况，而且有限的训练样本可能无法反映底层分布的所有细节，因此 $\epsilon$ 允许学习器的分类器出现一些小错误。

1.2 样本复杂度

函数 $m_H$ 决定了学习 $H$ 的样本复杂度，即保证一个可能近似正确的解所需的