17、信息提取：从文本中挖掘知识

信息提取：从文本中挖掘知识

1. 信息提取概述

在日常生活中，我们每天都会处理大量的文本内容，如手机短信、日常邮件，或是为了娱乐、工作、了解时事而阅读的长篇文本。这些文本文档蕴含着丰富的信息。信息提取（IE）指的是从文本文档中提取相关信息的自然语言处理（NLP）任务。例如，当我们在谷歌上搜索知名人物的名字时，右侧显示的简短摘要就是信息提取在实际应用中的体现。

与数据库、表格等结构化信息源，以及网页等半结构化信息源（具有一定标记）相比，文本属于非结构化数据。数据库有明确的模式，我们可以根据模式查找所需信息，但文本文档大多是自由流动的文本，没有固定模式，这使得信息提取成为一个具有挑战性的问题。

虽然文本本身是非结构化数据，但对于具有固定模式的信息（如地址、电话号码、日期等），使用基于模式的提取技术（如正则表达式）相对容易提取。然而，提取其他信息（如人名、文本中不同实体之间的关系、日历事件的详细信息等）可能需要更高级的语言处理。

2. 信息提取的发展历程

过去，研究界曾提出从科学论文和医学报告等文档中提取不同类型信息的方法。现代文本信息提取研究的起点可以追溯到美国海军组织的消息理解会议（1987 - 1998）。随后是自动内容提取计划（1999 - 2008）和美国国家标准与技术研究院（NIST）组织的文本分析会议系列（2009 - 2018），这些活动引入了从文本中提取不同类型信息的竞赛，从识别不同实体的名称到构建大型可查询知识库。现有的从文本中提取各种信息的库和方法及其在实际应用中的使用，都源于这些会议系列启动的研究。

3. 信息提取的实际应用

信息提取在现实世界中有广泛的应用，以下是一些具体例