24、机器学习中的覆盖数与学习理论证明

机器学习中的覆盖数与学习理论证明

1. 覆盖数相关概念

覆盖数是一种衡量集合复杂度的方法。下面详细介绍其定义和相关性质。
- 覆盖的定义 ：设 $A \subset R^m$ 是一个向量集合。若对于所有的 $a \in A$，都存在 $a’ \in A’$ 使得 $|a - a’| \leq r$，则称集合 $A$ 被集合 $A’$ 以欧几里得度量 $r$ 覆盖。我们用 $N(r, A)$ 表示能以 $r$ 覆盖 $A$ 的最小集合 $A’$ 的基数。
- 子空间示例 ：假设 $A \subset R^m$，令 $c = \max_{a \in A} |a|$，且 $A$ 位于 $R^m$ 的一个 $d$ 维子空间中。那么，$N(r, A) \leq (\frac{2c\sqrt{d}}{r})^d$。证明过程如下：
设 $v_1, \ldots, v_d$ 是该子空间的一组正交基。则任意 $a \in A$ 可表示为 $a = \sum_{i = 1}^{d} \alpha_i v_i$，其中 $|\alpha| {\infty} \leq |\alpha|_2 = |a|_2 \leq c$。
考虑集合 $A’ = {\sum {i = 1}^{d} \alpha’ i v_i : \forall i, \alpha’_i \in {-c, -c + \epsilon, -c + 2\epsilon, \ldots, c}}$。
对于给定的 $a \in A$，存在 $a’ \in A’$ 使得 $|a - a’|_2 = |\sum {i} (\