15、统计学习理论与优化方法解析

统计学习理论与优化方法解析

1 统计学习理论基础

1.1 点数量约束与 VC 维度

在统计学习理论中，当考虑一组点被满足特定假设的规范超平面打散时，存在对这些点数量的约束。通过一系列推导，得出如果 $r$ 个点被规范超平面打散，那么 $r$ 满足 $r \leq R^2\Lambda^2$ 。VC 维度 $h$ 也满足此约束，因为它对应着能被打散的最大点数。具体推导过程如下：
- 基于 Rademacher 变量的性质（零均值且独立），得到等式：
[
\sum_{i = 1}^{r}\sum_{j \neq i}E\left[y_ix_i - y_jx_j\right] + E\left[y_ix_i - y_ix_i\right] = \sum_{i = 1}^{r}E\left\lVert y_ix_i\right\rVert^2
]
- 利用 $\left\lVert y_ix_i\right\rVert \leq \left\lVert x_i\right\rVert \leq R$ ，可得：
[
E\left\lVert\sum_{i = 1}^{r}y_ix_i\right\rVert^2 \leq rR^2
]
- 结合上式与下限，得到 $r^2\Lambda^2 \leq rR^2$ ，进而推出 $r \leq R^2\Lambda^2$ 。

1.2 模型选择示例

在字符识别问题（USPS 集）中，可利用形如 (5.36) 的边界来预测哪种核函数表现最佳。由于该问题本质上是可分的，所以忽略边界中的经验风险项，通过最小化第二项来选择多项式核的参数。这