22、迈向增量学习的深入理解

迈向增量学习的深入理解

引言

在数据挖掘任务中，需要从大量或多或少无结构的数据中归纳特定知识。机器学习领域通过实证研究，学习理论领域通过形式化研究，探索了多种方法。这些方法在学习机器与环境的交互形式上各有不同，例如学习者接收待识别目标概念的实例，或者学习者针对目标概念提出查询。

从示例中学习时，学习机器的内存容量是一个关键限制因素。特别是在处理大量数据时，其内存容量可能不足以在整个学习过程中记住所有相关信息。这促使了对增量学习的研究，在增量学习中，学习者在每个学习步骤中只能访问有限数量的示例。其假设只能基于这些示例和之前的假设构建，之前看到的其他示例则被“遗忘”。

以往研究分析了这些限制如何影响学习机器的能力，揭示了某些目标概念类在特定模型中可学习，但在增量学习方式下不可学习的情况。然而，一些对成功学习而言很自然的约束条件在相应研究中大多被忽视了。这些约束条件包括：
- 一致性学习要求 ：学习者提出的任何中间假设都不应与到目前为止处理的数据相矛盾。
- 保守性学习要求 ：只要中间假设与已见数据一致，就应保持该假设。

由于对增量学习本质的了解不足，目前还没有全面分析这些要求如何影响增量学习者的能力。在学习理论中，增量学习是少数几种尚未明确可学习类典型结构特征的模型之一。对于其他从示例中学习的模型，通过分析一致性或保守性的影响，往往能得到特征描述和统一的学习方法。因此，在增量学习的背景下，研究这些自然要求可能有助于深入了解典型的学习方法，为刻画可学习类的结构和制定统一的增量学习方法提供第一步。

本研究聚焦于Gold的极限识别模型下的增量学习，具体分析