透过现象看机器学习：奥卡姆剃刀，没有免费的午餐，丑小鸭定理等

 Datawhale 

作者：邱锡鹏，复旦大学教授

寄语：本文对PAC学习理论、没有免费的午餐定理、丑小鸭定理、奥卡姆剃刀原理等机器学习中有名的理论或定理进行了详细的梳理。

在机器学习中，有一些非常有名的理论或定理，这些理论不仅有助于我们从本质理解机器学习特性，更好地学习相关理论，更重要的是可以有助于我们理解很多生活哲学，比如奥卡姆剃刀原理所延伸的极简主义：如无必要，勿增实体的理念，让我们一起细品吧。

没有免费午餐定理

没有免费午餐定理（NFL）是由Wolpert 和Macerday在最优化理论中提出的。没有免费午餐定理证明：对于基于迭代的最优化算法，不存在某种算法对所有问题（有限的搜索空间内）都有效。

如果一个算法对某些问题有效，那么它一定在另外一些问题上比纯随机搜索算法更差。也就是说，不能脱离具体问题来谈论算法的优劣，任何算法都有局限性. 必须要“具体问题具体分析”。

没有免费午餐定理对于机器学习算法也同样适用。不存在一种机器学习算法适合于任何领域或任务。 如果有人宣称自己的模型在所有问题上都好于其他模型，那么他肯定是在吹牛。

丑小鸭定理

丑小鸭定理（Ugly Duckling Theorem）是1969 年由渡边慧提出的[Watanable,1969]。“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。这个定理初看好像不符合常识，但是仔细思考后是非常有道理的。

因为世界上不存在相似性的客观标准，一切相似性的标准都是主观的。

如果从