19、瓦普尼克 - 切尔沃年基斯理论的组合方面及经验分类器选择的下界

瓦普尼克 - 切尔沃年基斯理论的组合方面及经验分类器选择的下界

1. 瓦普尼克 - 切尔沃年基斯理论的组合方面

在模式识别领域，瓦普尼克 - 切尔沃年基斯（Vapnik - Chervonenkis）理论有着重要的地位。对于(n > 2d^ + 1)的情况，通过使用定理 13.4 对粉碎系数的边界，可以得到相关不等式。不过，除非(d^ )（以及常数(C)）允许随(n)增加，否则很难获得普遍一致性。

1.1 凸集和单调层

具有无限 VC 维的类并非毫无用处。在模式识别中，以下两类集合是我们关注的重点：
- (C = { \text{所有 }\mathbb{R}^2\text{ 中的凸集} })
- (\mathcal{C} = { \text{所有 }\mathbb{R}^2\text{ 中的单调层，即对于某个非增函数 }\psi\text{，形如 }{(x_1, x_2) : x_2 \leq \psi(x_1)}\text{ 的集合} })

在判别问题中，决策形式为(\varphi(x) = I_{ {x \in C}})，其中(C \in C)，或者(\varphi(x) = I_{ {x \notin C}})，(C \in \mathcal{C})。例如，如果(\eta(x))在(\mathbb{R}^2)的两个分量上都是单调递减的，那么贝叶斯规则具有(g^*(x) = I_{ {x \in L}})的形式，其中(L \in \mathcal{C})。

需要注意的是，(V_C = V_{\mathcal{C}} = \infty