【科普】小样本关系抽取技术的进展与挑战

天大-张小旺教授

关系抽取

知识图谱构建核心任务之一

• 定义：给定文本及文本中涉及的两个实体，判定实体之间是否存在关系以及存在何种关系
• 应用：在智能问答、推荐系统、信息检索、阅读理解等技术中广泛使用
  
  

小样本关系抽取技术现状

• 小样本关系抽取任务的目标：通过利用极少量的标注数据训练（或微调）模型，使得模型可以快速学习到一个关系类别的特征，同样只有极少数样本的类别进行准确分类
• 现有方法主要分为三种：
  • 基于图注意力的方法
  • 基于元学习的方法
  • 基于原型网络的方法
• 共性难点：
  • 可供学习的样本量少，容易出现过拟合问题
  • 不同关系类别实例间差异信息难以学习

基于注意力的方法

• 研究问题：由于样本稀缺、质量有限导致的特征稀疏问题
• 基于注意力的代表性方法：利用层次注意力机制可以在不同的层次上提供不同粒度的信息选择和噪声处理能力
  • 底层的注意力能够捕捉更特定化的关系特征，具有和传统注意力机制类似的细粒度实例选择能力
  • 顶层的注意力只能提供粗粒度的实例选择能力，但是其可以捕捉几种子关系间的共同特征和关联信息，增强处理长尾关系的能力

基于元学习的方法

• 元学习（Meta-Learning），又称“学会学习”，即利用以往的知识经验来指导新任务的学习，使网络具备学习的能力
• 技术原理：增加学习器在多任务的泛化能力，且对于任务和数据需要双重采样，因此，可以在未见过的任务里迅速建立分类映射
  • 基于语义提示范式：构造从关系描述到句子实例的匹配网络模型
  • 针对匹配网络模型学习：三元组-释义的预训练方法，以增强模型对关系描述和实例间语义匹配的泛化性

基于原型网络的方法

• 原型网络（prototypical network）是一种简单高效的分类模型：假定每个类都存在一个原型，该原型由类支持集中所有实例嵌入向量的平均值来表示，根据类原型和查询集实例向量之间的距离比较实现查询实例的分类
• 如左下图示，查询样本x在欧氏距离上分别与C1、C2、C3三个类原型比较，最终确定与C2类原型更为接近，因此x被认为属于C2类别

研究现状