29、机器学习中的概念漂移与概念学习

机器学习中的概念漂移与概念学习

概念漂移

定义与背景

概念漂移指的是隐藏变量的值随时间发生变化的现象。在概念学习过程中，存在一些未知的上下文，当这些上下文发生改变时，之前学习到的概念可能不再有效，需要进行更新或重新学习。

在现实世界的预测领域，学习系统往往会面临一些事先未知的不稳定现象，这使得预测变得复杂。例如，金融市场的行为会随着合同价格、利率、通货膨胀率、预算公告以及政治和世界事件的变化而发生巨大改变。在一个上下文中学习到的概念定义，在新的上下文中可能就不再适用。这种概念漂移通常是由上下文的变化引起的，并且常常会直接通过一个或多个属性体现出来。当上下文的变化没有通过任何已知属性反映出来时，就可以认为是隐藏的上下文变化。隐藏的上下文变化会给那些假设概念稳定的预测方法带来问题。

学习系统结构

机器学习方法大致可分为批量学习和增量学习两类。批量学习系统通过一次性处理大量实例来离线学习，并形成一个单一的概念；而增量学习系统则会随着新观察数据的处理，不断演变和改变概念的定义。

在处理具有隐藏上下文变化的领域时，最常见的方法是采用增量学习，并逐渐降低旧数据项的重要性。一种流行的实现方式是使用一个包含近期实例的窗口，从这些实例中推导概念更新。例如，Kubat（1989）提出的方法，以及Widmer和Kubat（1996）、Kubat和Widmer（1995）、Kilander和Jansson（1993）、Salganicoff（1993）等的相关研究。通过根据准确性和概念复杂度的变化动态调整窗口大小，可以实现对上下文变化的快速适应。

在许多领域中，上下文不仅会发生变化，而且早期的上下文可能会在未来再次出