38、学习理论中的算子理论方法

学习理论中的算子理论方法

1. 简介

在学习理论中，为了近似可能无限数量的假设，我们可以使用一组“代表性”函数对假设空间进行显式覆盖。这种方法具有优势，因为有限假设类存在许多一致收敛界，并且巴拿赫空间理论提供了工具来界定以足够高的精度近似假设所需的函数数量。

2. 尺度敏感性与胖粉碎维度

• VC 维度的局限性 ：传统的 VC 维度是尺度不敏感的，即无论函数值的变化量如何，函数符号的变化都被认为是相关的。这在处理回归问题或大间隔分类器时，可能不是衡量函数容量的最佳方式。
• 高斯 RBF 网络的例子 ：考虑一类函数 $\mathcal{H}$，其中 $f = \sum_{i} \alpha_{i}k(x_{i}, \cdot)$，$k$ 是高斯核。可以证明 $\mathcal{H}$ 具有无限的 VC 维度，即使 $|w|$ 很小，VC 维度也不能直接用于证明支持向量回归中的大间隔正则化的合理性。
• 胖粉碎维度的引入 ：为了解决 VC 维度的局限性，引入了胖粉碎维度。它是 VC 维度的直接扩展，定义为实值函数能够以 $\epsilon$ - 粉碎的最大点数。

3. 熵与覆盖数

• 覆盖数的定义 ：设 $\epsilon$ - 覆盖是指在空间 $E$ 中，一组点的 $\epsilon$ - 球的并集包含集合 $M$。$\epsilon$ - 覆盖数 $\mathcal{N}(\epsilon, \mathcal