机器学习基石 Lecture7: The VC Dimension

Definition of VC Dimension

上节课所讲的N个样本分成的dichotomies数量，也就是假设函数种类的数量，的上限$m_H(N)$，小于等于上限函数$B(N,k)$。而$B(N,k)$可以用一个$k-1$维的多项式来限制住。这个$k$叫做Break Point。即：

因此VC Bound可以进一步的写为：

因此只要满足三点：

1. $m_H(N)$ 有Break Point k （好的假设空间$H$)
2. N 足够大 $\Rightarrow$ probably $E_{out}\approx E_{in}$ （好的数据集$D$）
3. 算法$A$选择一个错误率很小的假设函数作为$g$ $\Rightarrow$ probably 能学到东西 （好的算法$A$）

对于一个假设空间， m H ( N ) = 2 N m_{H}(N) = 2^{N}