透过现象看机器学习:奥卡姆剃刀,没有免费的午餐,丑小鸭定理等

本文深入探讨了机器学习中的核心理论,包括没有免费午餐定理,揭示了不存在通用的最优算法;丑小鸭定理强调相似性的主观性;奥卡姆剃刀原理提倡简单模型的优越性;PAC学习理论提供了模型泛化能力的理论基础,阐述了学习算法的近似正确性和可能性。这些理论不仅指导机器学习实践,也富含生活哲学。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 Datawhale 

作者:邱锡鹏,复旦大学教授

寄语:本文对PAC学习理论、没有免费的午餐定理、丑小鸭定理、奥卡姆剃刀原理等机器学习中有名的理论或定理进行了详细的梳理。

在机器学习中,有一些非常有名的理论或定理,这些理论不仅有助于我们从本质理解机器学习特性,更好地学习相关理论,更重要的是可以有助于我们理解很多生活哲学,比如奥卡姆剃刀原理所延伸的极简主义:如无必要,勿增实体的理念,让我们一起细品吧。

没有免费午餐定理

没有免费午餐定理(NFL)是由Wolpert 和Macerday在最优化理论中提出的。没有免费午餐定理证明:对于基于迭代的最优化算法,不存在某种算法对所有问题(有限的搜索空间内)都有效。

如果一个算法对某些问题有效,那么它一定在另外一些问题上比纯随机搜索算法更差。也就是说,不能脱离具体问题来谈论算法的优劣,任何算法都有局限性. 必须要“具体问题具体分析”。

没有免费午餐定理对于机器学习算法也同样适用。不存在一种机器学习算法适合于任何领域或任务。 如果有人宣称自己的模型在所有问题上都好于其他模型,那么他肯定是在吹牛。

丑小鸭定理

丑小鸭定理(Ugly Duckling Theorem)是1969 年由渡边慧提出的[Watanable,1969]。“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。这个定理初看好像不符合常识,但是仔细思考后是非常有道理的。

因为世界上不存在相似性的客观标准,一切相似性的标准都是主观的。

如果从

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值