56、基于解释的学习：原理、应用与发展

基于解释的学习：原理、应用与发展

1. 基于解释的学习概述

基于解释的学习（Explanation-Based Learning，EBL）是一种利用可用领域知识来改进监督学习的原则性方法。它能在学习速度、学习置信度、所学概念的准确性等方面带来提升，也可以是这些方面的综合提升。

1.1 传统机器学习与 EBL 的对比

传统机器学习系统通常从候选假设空间 H 中，依据标注示例的训练集 Z 来选择一个假设 Oh。一般假设示例是从格式良好的输入空间 X 按照某个固定但未知的分布 D 抽取的。然而，仅 Oh 在训练集 Z 上表现良好是不够的，还需要在潜在分布上有良好的统计性能保证，否则可能出现过拟合问题，导致测试性能不佳。

而 EBL 学习者会将领域理论 Γ 作为额外的信息源。这里的领域理论与所有学习者都存在的学习偏差不同，它仅用于解释，所推断的表达式并不保证成立，只是提供分析证据。例如，对于训练集中的某个示例 z，其解释可以立即且容易地进行泛化，因为解释的结构说明了该示例的分类标签为何由其特征决定，满足这些条件的其他示例也会被赋予相同的分类。

1.2 早期 EBL 的问题

早期的 EBL 方法存在两个难题：一是领域理论不可避免的不完美性，这源于对领域理论采用传统语义假设，导致系统脆弱且对训练数据依赖不足；二是效用问题，这是由于假设空间定义不明确造成的。现代 EBL 很大程度上是为了应对这些难题而发展起来的。

2. 学习系统的结构

2.1 解释及其泛化

训练示例的解释是从领域理论 Γ 推导出来的任何因果结构，它能证明该训练示例为何值得其教师分配的分类标签。