机器学习中的奥卡姆剃刀定律

奥卡姆剃刀定律是机器学习选择算法时可参照的标准之一。其含义是：在其他条件一样的情况下，选择简单的那个。

该定律的意义在于数据的拟合和低复杂性之间实际上存在着折衷。

理论上假设的解决方案越复杂，就越能拟合数据，训练数据误差就会越低

 

图1

但是在现实生活中，有关未知数据的泛化误差，往往如图2所示。

 

图2

泛化数据误差实际是训练数据误差与另一个名为过拟合误差的函数之和。

 

图3

在泛化误差最小得情况下，可获得最佳复杂性。用于计算过拟合误差得方法统称为贝叶斯方差方法。在现实生活中，通常只会获得训练数据误差。但实践表明，如果你不去选择能够使训练数据误差最小化的模型，而是选择复杂性低一点的模型，算法的表现往往会更好。过拟合是机器学习算法性能不佳得主要缘由。这也是在机器学习中应用奥卡姆剃刀定律的原因。

作者：AryaHooper
链接：https://www.jianshu.com/p/e5f2a432ce62
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。