训练和测试的区别（五）

一、

下面我们讲的是：为什么需要机器学习？

上节课中，我们讲了机器学习的大致的训练过程是这样的:

1.从样本出发，把样本传给机器。

2.机器从一群的假设函数中找到一个最好的h使得E（in）（h）最小，这样的话，由于如果假设函数集合较小的话，我们认为E（in）（h）≈E（out）（h），也就是说

此时E（out）（h）也是最小的

      那么有一个问题是，既然我们想找到一个E（in）（h）最小的假设函数，干脆我们直接让机器记忆所有的样本集合算了，这样的话假设函数的E（in）（h）一定是0，但是这不是我们想要的，我们其实目的是为了让E（out）（h）最小，但是由于我们不知道E（out）（h）最小，所以我们只能用E（in）（h）来代替，我们要让机器找出来的E（in）（h）最小的那个假设函数g在E（out）（h）也要近似最小，这就需要机器学习了。

此时，我们可以把机器学习的核心总结为两个问题：

1.我们是否能确认E（in）≈E（out）

2.我们怎么找到最小的E（in）

那么我们来看一下我们的假设函数集的数目M和以上两个问题的关系：

如果M很小的话，我们第一个问题可以大的概率保证，但是第二个问题，M很小的话，我们的算法选择假设函数范围就变小，找到一个很小的E（in）（h）的可能性就很低

如果M很大的话，我们的第二个问题就有大的几率保证，M很大，选择的空间越多，找到E（in）（h）很小的几率就会很大，但是对于第一个问题就不行了，M很大，那么

       根据，我们知道此事发生坏事情（也就是算法找到的假设函数的E（in）和E（out）差别很大）的几率就会很大

这也就是说我们要找到一个合适的M。

但是如果M是无限大怎么办呢？

二、把无限大的M专为有限

我们首先来看一下有限的情况下霍夫丁不等式的推导过程：也就是这个不等式