林轩田《机器学习基石》（十六）—— Three learning principles

本节课讲述一些机器学习的小秘密：三个学习原则。

一、奥卡姆剃刀原则

An explanation of the data should be made as simple as possible, but no simpler.   

你今天如果对你的资料做解释的话，那么越简单的解释越好。

这件事可以追溯到14世纪，奥卡姆的威廉说：对一件东西的处理越简单越好，把不必要的东西剃掉。

在机器学习中的意思是：对资料最简单的解释就是最好的解释。

同样的资料，如下，比较好的是左边的解释：简单，而且效果还不错。

那么现在存在两个问题：1.什么叫做简单的模型？2.为什么知道简单的模型比较好？

1.什么叫简单？

首先说什么叫简单的hypothesis？答：对于单一的hypothesis，最起码看起来很简单，比如参数少。

如果模型有很多hypothesis，那么什么才叫简单？答：有效的hypothesis较少。

所以简单的hypothesis与简单的model之间是有联系的：如果model的复杂度很小，很简单，某种程度上来说，这个模型中