6.机器学习的一般化理论

1.界函数（bounding function）

是指当（最小）突破点为k 时，生长函数m(N) 可能的最大值，记为B(N, k)。
显然，当k=1时，B(N, 1) = 1; 当k > N 时，B(N,k) = 2^N; 当k = N 时，B(N,k)=2^N - 1.
于是很容易得到Bounding function table:

再来填下面那部分的，以B（4,3）为例，写出所有符合的排列组合再进行配对处理，比较其与B（3,3）和B（3,2）的关系

于是可以得

归纳到一般情况，则有以下理论

得出以下公式

这个式子显然是多项式的，最高次幂是 k-1。
所以我们得到结论：如果突破点存在（有限的正整数），生长函数m(N) 是多项式的。

2.VC界

上面得到了m（N）的上界多项式，现在来对之前求坏事情概率的不等式做一个替换：

通过将无穷大的Eout 替换为验证集(verification set) 的Ein'，于是得到VC bound函数：