机器学习与深度学习中的几个重要概念

1. 机器学习中几个概念

1.1 No free lunch theorem

机器学习中存在大量的各类不同模型，想要找到一个最好的模型适用不同的场合和不同的数据，这通常是不可能的，没有一个简单的所谓最好的模型能够适应不同的问题，这就是没有免费的午餐定理（No free lunch theorem）。原因在于不同的模型可能基于一定的假设（或称之inductive bias），而这些假设在特定的domain内表现的很好但在另一些domain可能表现很差。

1.2 Occam's Razor

​奥卡姆剃刀（Occam's Razor）原理是指，在各种科学研究任务中，应该优先使用较为简单的公式或原理，而不是复杂的。 应用到机器学习任务中，可以通过减小模型的复杂度来降低过拟合的风险，即模型在能够较好拟合训练集（经验风险）的前提下，尽量减小模型的复杂度（结构风险）。

1.3 BIC

在机器学习涉及多个模型的选取的问题（model selection）时，除了采用K折交叉验证外，一个更为有效的方法是计算模型的后验分布，具体如下