13、简约原则下的学习原理

简约原则下的学习原理

1. 简约原则概述

简约原则通常与哲学中的经典奥卡姆剃刀原理相关联，该原理指出“如无必要，勿增实体”。也就是说，当我们对观察到的数据有不同的解释时，最简单的解释是更可取的。然而，这引发了一个重要问题：如何正确解释“简单”？这个问题颇具争议。

简约原则是科学几乎所有领域的普遍特征，它为许多自然规律提供了直观的解释，并且能很好地驱动决策过程。在这个框架下，智能体根据环境约束返回最简单的决策。与概率和统计推断不同，智能体的决策基于对“简单”的恰当定义。

简单性定义的随意性似乎与优雅和美观等特征相似。尽管人们在选择和评价这些特征时可能存在分歧，但往往渴望实现对它们的普遍解释。简约原则与信息论和统计学有一定的联系，这使我们能够引入与这些理论的解决方案具有一定一致性的简单性定义。不过，我们依据的原则与统计框架有显著不同，这就引出了我们应该遵循哪个原则的问题。

乍一看，统计框架似乎能保证最优的泛化行为，但它依赖于对自然真实状态的假设，这在一定程度上损害了相关推理机制的合理性。而简约原则虽然不存在与假设不一致的问题，但却受到简单性形式化翻译随意性的困扰。

2. 最小描述长度（MDL）原理

2.1 MDL原理的基本思想

MDL原理是运用简约原则的一种自然方式。它基于这样一个理念：数据中的任何规律性都可用于压缩，即我们可以使用比描述原始数据更少的符号。捕捉到的规律性越多，数据就越能被压缩。学习可以被看作是发现数据中规律性的过程。

例如，对于序列：

1
01101
2
01101
···