VC维（Vapnik–Chervonenkis dimension）

1、简介

        vc理论（Vapnik–Chervonenkis theory ）是由 Vladimir Vapnik 和 Alexey Chervonenkis发明的。该理论试图从统计学的角度解释学习的过程。而VC维是VC理论中一个很重要的部分。

 

2、定义

 

        定义：对一个指示函数集,如果存在h个样本能够被函数集中的函数按所有可能的 种形式分开,则称函数集能够把h个样本打散;函数集的VC维就是它能打散的最大样本数目h.若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大.

        VC维反映了函数集的学习能力,VC维越大则学习机器越复杂(容量越大).学习能力越强。

 

        故有这样的结论，平面内只能找到3个点能被直线打散而不找到第4个。

 

        对于这个结论可以按如下方式理解：

        （1）平面内只能找到3个点能被直线打散：直线只能把一堆点分成两堆，对于3个点，要分成两堆加上顺序就有23种。其中A、B、C表示3个点，+1