论文笔记:Hybrid Attention-Based Prototypical Networks for Noisy Few-Shot Relation Classification

针对小样本关系抽取问题,介绍一种改进的原型网络方法。通过引入混合注意力机制,增强模型对噪声数据的鲁棒性及特征区分能力。在FewRel1.0数据集上,即使存在错误标注,仍能有效提升模型性能。

基本信息

  • github:地址
  • 会议:2019 AAAI
  • 标签:关系抽取、小样本

笔记

1. 整体思路是什么?

  • 问题设定:小样本关系抽取,N way K shot 的任务。
  • 数据集:FewRel 1.0数据集,在数据集中引入了 (错误标注的情况)
  • 出发点:在小样本中噪声数据对模型影响是巨大的。小样本学到的特征是稀疏的。
  • 方式:小样本学习中的metric learning方法,用了之前Prototypical网络,作了一定改进。将简单的avg换成了attention。引入了基于实例、基于特征的混合注意力。缓解出发点提到的两个问题。
  • 做法:对每个query,都是拿整个support set与其计算相似度,最终是一个N维的相似度量,取最大作为其类别。

2. 模型流程是什么?

在这里插入图片描述
输入: ( S u p p o r t , x q u e r y ) (Support,x_{query}) Supportxquery

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值