6、机器学习中的非均匀可学习性：概念、方法与应用

机器学习中的非均匀可学习性：概念、方法与应用

1. 引言

在机器学习领域，可学习性是一个核心概念。传统的 PAC 可学习性概念虽然允许样本大小依赖于准确性和置信度参数，但在标记规则和底层数据分布方面是均匀的，这限制了可学习的类别。本文将探讨更宽松、更弱的可学习性概念，包括非均匀可学习性、结构风险最小化（SRM）、最小描述长度（MDL）以及一致性等概念，并分析它们的实用性。

2. 非均匀可学习性的定义

2.1 基本概念

非均匀可学习性允许样本大小相对于学习者所竞争的不同假设是非均匀的。具体来说，如果一个假设类 H 满足以下条件，则称其是非均匀可学习的：存在一个学习算法 A 和一个函数 (m_{H}^{NUL}:(0,1)^2\times H\rightarrow N)，使得对于任意的 (\epsilon,\delta\in(0,1)) 和任意的 (h\in H)，如果 (m\geq m_{H}^{NUL}(\epsilon,\delta,h))，那么对于任意的分布 D，在从 (D^m) 中选择样本 S 的过程中，至少有 (1 - \delta) 的概率满足 (L_D(A(S))\leq L_D(h)+\epsilon)。

2.2 与不可知 PAC 可学习性的比较

不可知 PAC 可学习性要求存在一个学习算法 A 和一个函数 (m_H:(0,1)^2\rightarrow N)，使得对于任意的 (\epsilon,\delta\in(0,1)) 和任意的分布 D，如果 (m\geq m_H(\epsilon,\delta))，那么在从 (D^m) 中选择样本 S 的过程中，至少有 (1 - \delta) 的概率