4、机器学习中的PAC学习模型及扩展

机器学习中的PAC学习模型及扩展

1. 温和的开端：过拟合与ERM规则

在学习过程中，经验风险最小化（ERM）规则可能会导致过拟合问题。想象一个大圆圈，其中的每个点代表一个可能的实例m元组。每个彩色椭圆代表某个“不良”预测器h的“误导性”实例m元组集合。当ERM规则得到一个误导性的训练集S时，就可能发生过拟合，即对于某些h，训练集上的损失L S(h) = 0。

根据相关公式，对于每个单独的不良假设h，最多有(1 - ϵ)m比例的训练集是误导性的。m越大，每个彩色椭圆就越小。通过联合界可以知道，与某些h相关的误导性训练集的面积最多是所有彩色椭圆面积之和，即被|HB|乘以彩色椭圆的最大尺寸所界定。任何位于彩色椭圆之外的样本S都不会导致ERM规则过拟合。

对于任何标记函数f和分布D，在可实现性假设成立的情况下，当选择一个大小为m的独立同分布样本S时，至少有1 - δ的概率使得每个ERM假设hS满足L(D, f )(hS) ≤ ϵ。这意味着对于足够大的m，在有限假设类上应用ERM规则很可能（置信度为1 - δ）近似（误差不超过ϵ）正确。

2. 练习题解析

• 多项式匹配的过拟合 ：证明由方程(2.3)定义的预测器可以表示为阈值多项式。给定训练集S = {(xi, f (xi))}m i=1 ⊆(Rd × {0,1})m，存在一个多项式pS，使得hS(x) = 1当且仅当pS(x) ≥ 0。这表明使用ERM规则学习所有阈值多项式类可能会导致过拟合。
• 期望损失的计算 ：设H是定义域X上的二元分类器类，D是X上的未知分布，f是H中的目标假设。对于固定的h