4、机器学习中的一致收敛与偏置复杂度权衡

机器学习中的一致收敛与偏置复杂度权衡

1. 一致收敛学习

1.1 一致收敛对可学习性的充分性

学习的目标通常是找到一个能在真实数据分布上风险最小的假设。经验风险最小化（ERM）学习范式是在给定训练样本时，评估假设类中每个假设的经验风险，并输出使经验风险最小的假设。我们期望这个使经验风险最小的假设在真实数据分布上的风险也最小或接近最小。这就要求假设类中所有假设的经验风险能很好地近似其真实风险，即一致收敛。

• ϵ - 代表性样本 ：一个训练集 $S$ 被称为 $\epsilon$ - 代表性（相对于域 $Z$、假设类 $H$、损失函数 $\ell$ 和分布 $D$），如果对于所有 $h \in H$，有 $|L_S(h) - L_D(h)| \leq \epsilon$。
• 引理 ：如果训练集 $S$ 是 $\frac{\epsilon}{2}$ - 代表性的，那么 ERM 学习规则保证返回一个好的假设，即对于任何 $h_S \in \arg\min_{h \in H} L_S(h)$，有 $L_D(h_S) \leq \min_{h \in H} L_D(h) + \epsilon$。

1.2 有限类是不可知 PAC 可学习的

为了证明 ERM 规则是不可知 PAC 学习器，只需证明在随机选择训练集时，以至少 $1 - \delta$ 的概率，训练集是 $\epsilon$ - 代表性的。这就是一致收敛条件。

• 一致收敛定义 ：假设类 $H$