42、多分类学习、压缩边界与PAC - Bayes理论解析

多分类学习、压缩边界与PAC - Bayes理论解析

多分类学习相关

在多分类分类问题中，不同经验风险最小化（ERM）方法的样本复杂度可能有所不同。有一个猜想指出，对于每个假设类 $H \subset [k]^X$，其可实现样本复杂度为：
$m_H(\epsilon,\delta) = \tilde{O}(\frac{Ndim(H)}{\epsilon})$
这里的 $\tilde{O}$ 符号仅隐藏 $\epsilon$、$\delta$ 和 $Ndim(H)$ 的多项式对数因子，不包含 $k$ 的因子。

Natarajan 维度由 Natarajan 在 1989 年提出，该论文还建立了 Natarajan 引理和基本定理的推广。以下是一些相关的练习题：
1. 证明存在特定的二元假设 ：设 $d,k > 0$，证明存在 VC 维度为 $d$ 的二元假设 $H_{bin}$，使得 $Ndim(H_{OvA,k}^{bin}) = d$。
2. 证明引理 ：证明 Lemma 29.6。
3. 证明 Natarajan 引理 ：固定 $x_0 \in X$，对于 $i,j \in [k]$，用 $H_{ij}$ 表示所有满足能通过定义 $f(x_0) = i$ 和 $f(x_0) = j$ 扩展为 $H$ 中函数的 $f : X \setminus {x_0} \to [k]$。证明 $|H| \leq |H_{X \setminus {x_0}}| + \sum_{i \neq j} |H_{ij}|$ 并使用归纳法。
4