42、机器学习中的多分类、压缩边界与PAC - 贝叶斯方法

机器学习中的多分类、压缩边界与PAC - 贝叶斯方法

1. 多分类学习的样本复杂度

在多分类分类问题中，不同经验风险最小化（ERM）方法的样本复杂度可能有所不同。有一个猜想指出，对于每个假设类 $H \subset [k]^X$，其可实现样本复杂度为：
$m_H(\epsilon,\delta) = \tilde{O}\left(\frac{Ndim(H)}{\epsilon}\right)$
这里的 $\tilde{O}$ 符号仅隐藏 $\epsilon$、$\delta$ 和 $Ndim(H)$ 的多项式对数因子，不包含 $k$ 的因子。

1.1 Natarajan维度相关

Natarajan维度由Natarajan在1989年提出，该论文还建立了Natarajan引理和基本定理的推广。Haussler和Long在1995年研究了Natarajan引理的推广和更精确版本。Ben - David等人在1995年定义了一大类维度概念，这些概念都推广了VC维度，可用于估计多分类分类的样本复杂度。

1.2 相关练习

以下是一些与多分类学习样本复杂度相关的练习：
1. 证明存在VC维度为 $d$ 的二元假设 $H_{bin}$，使得 $Ndim(H_{OvA,k}^{bin}) = d$。
2. 证明引理29.6。
3. 证明Natarajan引理，提示是固定某个 $x_0 \in X$，对于 $i, j \in [k]$，用 $H_{ij}$ 表示所有可以通过定义 $f(x_0) = i$ 和 $f(x_0) = j$ 扩展为 $H$ 中函数的 $f: X \setminus {x_0}