台大机器学习笔记(7)——The VC Dimension

本章延续第6章的内容：
http://blog.youkuaiyun.com/u010366427/article/details/50985677

7.1 Definition of VC Dimension

　　本节给之前的break point一个正式的名字。设假设集H的break point为$k$，则VC Dimension为$k-1$，即$d_{vc}=k-1$。它代表的意义在于，$m_H(N)≤N^{d_{vc}}$，即在$m_H (N)$难以得到的情况下，我们用$N^{d_{vc}}$来设置其上界，这意味着如果有$N$个以上的样本，$H$一定不能做出shatter，然而，当样本数不大于$N$时，$H$也有可能不能shatter。
　　当$d_{vc}$有限时，可以认为$E_{out}≈E_{in}$，即存在泛化能力，并且与以下因素无关：
　　(1)与从$H$获取模型的演算法无关
　　(2)与输入数据的分布无关
　　(3)与目标函数$f$无关

7.2 VC Dimension of Perceptrons

7.2.1 感知机的学习过程
　　首先在线性可分的数据集中，经过一个演算法使得$E_{in}=0$，然后在假定所有数据同分布、VC维有限的情况下，$P[|E_{in} (g)-E_{out} (g)|>ϵ]$会小于一个上限，意味着在足够多的数据下$E_{out}≈E_{in}$，由$E_{out}≈0$。
7.2.2 感知机的VC维
　　证明n维感知机的VC维是$n+1$：
　　(1)$n$维感知机能shatter某一$d+1$维数据
　　$n$维感知机的权重向量$w$是$n+1$维的。同时设某$d+1$维数据的矩阵表示是可逆的，则存在$Xw=y$，即$w=X^{-1} y$，可知存在$w$使得$X$能按任意$y$划分。
　　(2) $n$维感知机不能shatter某一$d+2$维数据
　　由于$x_{n+2}=x_1+⋯+x_{n+1}$因此$w^T x_{n+2}=w^T x_1+⋯+w^T x_{n+1}$，可知当$y_1,…,y_{n+1}$给定时，$y_{n+2}$被锁定，故无法shatter。

7.3 Physical Intuition of VC Dimension

　　VC维在物理上大致但不总是代表着$H$的自由度，即能自由决定的变量个数。自由度越高，意味着H能shatter更多的样本，故代表着H的强度，同时在高自由度下却很难使得$E_{out}≈E_{in}$。

7.4 Interpreting VC Dimension

　　用$d_{vc}$将原有的6.4节的公式替换，我们可以得出$E_{out}$的上界，公式如下：

$$E_{out} (g)≤E_{in} (g)+\sqrt{\frac{8}{N} ln(\frac{4(2N)^{d_{vc}}}{δ})}$$
　　我们令该公式带根号的后半部分为 $Ω$，可以看到，当$d_{vc}$上升时， $E_{in} (g)$下降，但是 $Ω$上升，反之亦然。也就是说，当VC维上升时，训练集误差下降，测试集误差先下降后上升。
　　另外，在代入VC维后我们得到公式：
$$P[|E_{in}-E_{in}'|>ϵ]≤4(2N)^{d_{vc}} e^{-ϵ^2 N/8}$$
　　根据此公式在已知其他变量的情况下可以求出未知的变量。据此，我们可以得出理论上在训练算法时应使用10000倍于VC维的数据量，但实际上由于该公式经过了多次严格约束，故而只需要10倍于VC维的数据量即可。