14、统计学习理论中的VC边界推导与相关概念解析

统计学习理论中的VC边界推导与相关概念解析

1. 一致性与均匀收敛

在统计学习理论中，一致性是一个关键概念。一致性，进而学习的有效性，关键取决于函数集。有定理表明，单边概率均匀收敛
$$\lim_{m \to \infty} P\left(\sup_{f \in \mathcal{F}} \left(R[f] - R_{emp}[f]\right) > \epsilon\right) = 0$$
对于所有 $\epsilon > 0$ 来说，是经验风险最小化非平凡一致性的充要条件。这里 $R[f]$ 表示真实风险，$R_{emp}[f]$ 表示经验风险。

这个抽象的一致性特征在理论上很有趣，但在实践中并不那么有用。我们不希望每次使用学习机器时都去检查这个抽象的收敛性质。因此，我们需要探讨学习机器（即函数集）的哪些性质能确保风险的均匀收敛。

2. 推导VC边界的方法

为了推导VC边界，我们关注概率 $P\left(\sup_{f \in \mathcal{F}} \left(R[f] - R_{emp}[f]\right) > \epsilon\right)$ 。在推导过程中，需要用到两个技巧：联合边界和幽灵样本对称化方法。

2.1 联合边界

假设函数集 $\mathcal{F}$ 由两个函数 $f_1$ 和 $f_2$ 组成。在这种情况下，风险的均匀收敛可由大数定律得出。设
$$C_i^{\epsilon} = \left{(x_1, y_1), \cdots, (x_m, y_m) : \left(R[f_i] - R_{emp}[f_i]\right) >