知识图谱问答 | (2) 实体链接概述

本篇博客主要基于微软亚洲研究院段楠老师的《智能问答》第三章 实体链接 进行整理。

1. 简介

实体链接（entity linking)是指将自然语言文本中出现的实体提及（entity mention)关联到对应知识图谱实体上去的任务。实体链接是很多自然语言处理任务的基础，例如知识图谱构建、信息／事件抽取、语意搜索和智能问答等。按照自然语言文本长度的不同，该任务可以进一步分为长文本实体链接和短文本实体链接两类：长文本实体链接任务的输入通常是一篇文档（例如一篇 Wikipedia文章），短文本实体链接任务的输入通常是一个句子（例如一个自然语言问题）。由于传统实体链接研究大都围绕长文本开展，因此这里将对长文本实体链接的典型方法进行系统介绍，并针对每类典型方法说明如何将其用于智能问答系统完成短文本实体链接任务。对于无法直接用于智能问答的实体链接方法，只做简要说明，不会展开介绍。

本章将典型的实体链接系统分为如下三个子模块：

1. 候选实体生成（candidate entity generation)模块，负责从输入文本中检测出实体提及集合M（包括输入文本中提到的所有实体）,并从给定知识图谱中找到每个实体提及$m\in M$可能对应的候选实体集合$E_m$,常用的候选实体生成方法包括词典匹配方法、表层形式扩展法和统计模型法；
2. 候选实体排序（candidate entity ranking)模块(实体消歧)，负责对(每个实体提及m对应的)候选实体集合$E_m$中多个候选实体打分和排序，并输出得分最高的候选实体作为m的实体链接结果。常用的候选实体排序方法包括基于监督学习的方法和基于非监督学习的方法；
3. 无链接指代预测（unlinkable mention prediction),负责预测输入文本中哪些实体提及是无法被链接到知识图谱中去的。这种情况通常是由知识图谱本身的不完备性导致的，即输入文本中提及的实体尚未被现有知识图谱覆盖（在知识图谱中找不到对应的实体）。

下图给出在知识图谱问答场景下的一个实体链接示例。对于自然语言问题where was President Obama born,实体链接系统将问题单词Obama作为一个实体提及，并将其映射到(链接到)知识图谱实体 Barack Obama 上去。

2. 候选实体生成

候选实体生成（candidate entity generation)任务的目标是从输入文本中检测出实体提及集合M,并从给定知识图谱中找到每个实体提及$m\in M$可能对应的候选实体集合$E_m$.接下来将介绍两种最常见的方法：词典匹配方法和统计学习方法。

2.1 词典匹配方法

词典匹配方法使用预先抽取的词典完成候选实体生成任务。该类方法使用的词典由N个<实体提及，知识图谱实体>对 { m i , e i } i = 1 N \{m_i,e_i\}_{i=1}^N { mi​,ei​}i=1N​组成，$m_i$表示一个实体提及，$e_i$表示$m_i$对应的一个知识图谱实体。给定一段自然语言文本，词典匹配方法使用词典中的实体提及集合 { m i } i = 1 N \{m_i\}_{i=1}^N { mi​}i=1N​,检测文本中出现的实体提及(检测文本中是否出现了某个/某些实体提及)，并通过对应关系找到每个实体提及可能对应的全部知识图谱实体候选。注意，同一个实体提及可能对应多个不同的知识图谱候选实体，这是因为不同的知识图谱实体可以共享同一个名称。例如，实体提及 Micheal Jordan 既可以链接到篮球运动员Micheal Jordan,也可以链接到机器学习专家Micheal Jordan,这就需要实体链接系统按照输入文本的内容对不同候选实体进行消歧。关于对不同候选实体进行打分和排序的方法将在之后描述。接下来，首先介绍词典匹配方法中最重要的匹配词典抽取方法，即抽取<实体提及，知识图谱实体>对构建词典。

最常见的匹配词典抽取方法是利用维基百科网站中实体标题、重定向页、消歧页、加粗短语以及超链接之间的内在连接抽取<实体提及，知识图谱实体>。下表给出基于不同类型数据进行词典构建的具体方法。由于维基百科和包括Freebase 在内的很多其他知识图谱都存在很好的对应关系，因此通过上述方法获取的词典能够很好地用于基于其他知识图谱的实体链接任务。

知识图谱是抽取<实体提及，知识图谱实体>对的另一个数据来源。例如在Freebase 中，绝大多数实体通过谓词 common.topic.alias 可以找到其对应的别名集合。每个别名与当前的知识图谱实体构成一个<m,e>对。

首字母缩写经常出现在自然语言文本中，例如 IBM 表示 International Business Machines.针对首字母缩写进行实体链接对自然语言处理任务十分重要。常用的抽取首字母缩写及对应知识图谱实体的方法可以分为启发式规则方法和监督学习方法两类：基于启发式规则的方法采用预先定义好的模板从大规模语料中抽取首字母缩写及其对应的知识图谱实体全称。常用的模板包括＂缩写（全称）”和“全称(缩写)”。拿第一个模板为例，满足该模板的文本片段由缩写和全称两部分组成，缩写部分由大写字母组成，全称部分中每个单词第一个字母连接起来正好等于缩写部分，这样可以抽取出<缩写，全称>构成一个《实体提及，知识图谱实体》对。例如，维基百科文本中出现的片段“···HP(Hewlett-Packard)…”可以成功匹配上述第一个模板，因此可以将首字母缩写 HP 与 Hewlett-Packard 对应起来；基于启发式规则的方法无法处理首字母发生调序的情况，例如，CCP和 Communist Party of China 对应的首字母序列CPC并不相同(上述模版匹配不到这种情况)。基于监督学习的方法可以很好地处理这类问题。例如，Zhang等人从文本中抽取构建<缩写，全称>正负样本，并采用包括字符串相似度和词性标注等在内的特征训练SVM分类器，用来对给定缩写和某个全称候选进行分类(二者是否对应)［1].

此外，还有一些研究工作提出基于搜索引擎查询日志的词典构建方法。例如，Chakrabarti等人[2]和 Cheng等人[3]从搜索引擎日志中识别出能够很好表示知识图谱实体的网页url集合，然后从这些url对应的用户点击查询中抽取实体可能对应的不同别名，并利用一系列统计特征从中选择高质量的别名与当前知识图谱实体构成<m,e>对。Taneva 等人从用户共同点击查询（co-clicked queries)集合中抽取首字母缩写词对应的全称（例如 CMU 和 Carnegie Mellon University)[4].这样，首字母缩写词与实体类型全称构成一个<m,e>对。还可以将输人文本中抽取出来的实体提及和它所在的上下文作为查询发送到通用搜索引擎［5-8]或维基百科站内搜索[9]，如果搜索引擎返回结果中包含来自维基百科的页面，那就将该页面对应的知识图谱实体与当前实体提及组成一个＜m,e>对。

构建好匹配词典后，基于匹配词典对输入文本进行实体提及识别的方式主要有两种：

• 第一种采用完全匹配（exact match)方法，即文本中每个实体提及一定要准确出现在匹配词典中。完全匹配方法易于实现，但对词典实体提及集合的覆盖度要求较高。一旦某个实体提及发生变化，匹配过程就会失败。
• 第二种采用模糊匹配（fuzzy match)方法，即允许文本中每个实体提及和词典中对应的实体提及在字面上存在一定的差异。常见的模糊匹配机制包括：1. 如果文本中某个实体提及被词典中某个实体提及完全包含或它完全包含词典中某个实体提及，那么这两个实体提及模糊匹配成功；2. 如里文本中某个实体提及和词典中某个实体提及存在一定程度的单词重叠，那么这两个实体提及模糊匹配成功；3. 如果文本中某个实体提及和词典中某个实体提及基于字符串相似度算法（例如 character Dice score,skip bigram Dice score,Hamming distance,编辑距离等）具有很高的相似性，那么这两个实体提及模糊匹配成功［10-14]。

2.2 统计学习方法

词典匹配方法采用预先抽取好的实体提及集合对输入文本进行实体提及检测。一旦某些实体提及并未出现在匹配词典抽取的语料中，那么该类方法就无法处理。针对这个问题，本小节将介绍基于统计学习的实体提及检测方法。该类方法通过从标注数据上抽取特征学习统计模型，可以用来检测之前并未见过的实体提及（具有较好的泛化性）。该任务在自然语言处理领域有一个专门的名称：命名实体识别（named entity recognition,NER) （实体抽取）.

早期 NER 主要基于词典和规则方法。随着机器学习理论的发展，基于条件随机场（CRF)的模型[15]在 NER 方法中占据了主导地位。该方法将NER看做是一种序列标注任务：

$x=(x1,...,x_n)$表示输入文本对应的单词序列， y = ( y 1 , . . . , y n ) y=(y_1,...,y_n)