28、远监督中的多示例学习

远监督中的多示例学习

1. 引言

多示例学习（Multi-Instance Learning, MIL）是一种弱监督学习方法，其中标签被赋予一组实例（称为一个包或袋），而不是单个实例。远监督（Distant Supervision, DS）则是一种通过外部知识库（如Freebase或DBpedia）自动标注数据的方法。两者结合，可以有效地处理关系抽取（Relation Extraction, RE）任务，即从文本中自动识别实体之间的关系。

在远监督设定下，关系抽取任务面临的一个主要挑战是噪声问题。由于远监督假设非常强，包含实体对提及的每个句子可能并不表达这对实体之间的关系，这会使得生成的数据中带入一些噪声。多示例学习通过将每个实体对映射到一个句子包，可以减轻这种噪声的影响。本文将详细介绍远监督下的多示例学习模型及其应用。

2. 多示例学习的基本概念

2.1 定义与背景

多示例学习是一种弱监督学习问题，其中标签被赋予一组实例，而不是单个实例。具体来说，多示例学习的任务是给定一个包含多个实例的包（bag），预测该包的标签。每个包中的实例可能具有不同的特征，但它们共享相同的标签。例如，在关系抽取任务中，每个实体对可以被视为一个包，而包中的每个句子则是该实体对的一个实例。

2.2 多示例学习的假设

多示例学习通常基于以下假设：
- 包假设 ：如果一个包被标记为正类，则至少有一个实例是正类；如果一个包被标记为负类，则所有实例都是负类。
- 实例假设 ：如果一个实例被标记为正类，则该包也被标记为正类；如果一