一般化理论（六）

上一节中，我们说我们的假设函数集合是无限大的，那么我们的想法是找到这样的一个成长函数来代替原来的无限大的假设函数集合数目。

我们遗留的问题在perceptron的时候，我们的没有找到其成长函数。我们只是得出其break point 是4，我们猜想是不是其成长函数就是O（N三次方）呢？

下面我们具体的讨论

如果我告诉你一个假设函数集合的break point是2

那么当N=1的时候我们的组合是2，是等于2的一次方的，我们称之为shatter。

那么当N=2的时候我们的组合情况是小于4的，也就是我们称之为不能shatter，经过计算我们得出只有3个组合。

那么当我们的N=3时，情况是什么样的呢？注意我们的break point是2，那么在以后的情况中都不能出现任意两个点的shatter。

比如这种情况，我们shatter了X2和X3：

                   

那么经过的一番尝试，我们最后得出我们最多找到这4个组个的情况：

我们看一下，当N为2的时候我们的组合最多是3种，比2的2次方小了一点点，当我们的N=3的时候组合的情况最多是4种，比2的3次方小了很多。

那么我们的成长函数是不是也是一个多项式呢？

bounding Founction

这个界限函数指的是：当break point  是K的时候的，我们的最多的dichotomy是多少。

我们想找到的是我们的界限函数只和N和break point K的值有关，即B(N,K)。

我们想知道这个界限函数是不是一个多项式呢？下面我们来填一个表：

注意：我们的横坐标是break point 的值，纵坐标指的是我们的样本集合的数目N

    1.首先我们之前将的是当break point  为2的时候，其N为2和3的时候值为3和4

    2.我们填写第一列的值，第一列指的是我们的break point 是1，也就是说任意一个点都不能被shatter，指的就是任意一个点，我们都不能既有类别A，又有类别B的 情况，最后得出我们只能有1中组合

    3.当我们的样本集合点数目小于break point K的时候，这个时候我们的K没有意义了，组合情况就是2的N次方种

    4.当N=K的时候，其实就是正好是break point 的时候，我们遇到的情况是2的N次方不行的，只需要减一种就行，也就是2的N次方-1。

剩余的没填的部分是我们的重点。

假如我们想要填写B（4,3），我们先把其组合的结果穷举出来：

我们把这些11种结果进行分析：

我们发现前八个是这样的特性，X1，X2，X3是一样的，X4是不一样的，而后四个是没有这样的。

      然后我们把这11个结果用这样的式子表示出来：

然后我们把这11个的的X1，X2，X3 拿出来：

由于刚才说B（4,3）的要求是任何的三个点都不能被shatter，那么X1，X2，X3也不能被shatter。

那么：

如果我们只看前八个的X1,X2,X3

在这种情况下任意两个点不能被shatter，因为他们的X4已经被shatter，如果再有两个被shatter，那么就会有三个，不满足了。

所以：

最终我们得出：

最终我们推出下面的结论：

最后填表如下：

根据上面的推论，我们可以用归纳法得出如下结论：

那么根据上面的公式我们就能得出perceptron的成长函数的一个上限：

最后的一步

我们不能直接的把上面求得的成长函数的上限带入到霍夫丁不等式，因为E(out)(h)是无限多的，原因是我们的真实的数据是无限多的。根据推导求得最后的结果是：

  

推导的过程还是看原视频把，老师推导的时候也没打算要把推导的过程讲的很仔细。

根据上面的公式我们可以看到成长函数是小于O（N的三次方的）那么我们就得出随着N的增大，不等式的右边的值会很小。

也就是说如果N足够的大，我们的PLA演算法找到的E（in）（h）真的是可以代表E（out）（h）。