这篇博客探讨了阅读理解中的数值推理问题，特别是针对DROP数据集。介绍了NumNet模型，它通过图神经网络进行数值推理，解决了数值比较和条件问题。此外，还提到了QDGAT模型，该模型在NumNet基础上改进，通过区分不同类型的数字和实体，提高了推理准确性。实验表明，这些模型在DROP数据集上的表现优于传统MRC模型。
阅读理解中的数值推理
一、概述
关注过阅读理解中数值推理这一部分的内容，传统的阅读理解模型，将文章和问题处理后丢进模型，模型不区分数值给出答案，这给一些关于数值类的问题带来了准确性的问题，今天我要分享的是阅读理解中的数值推理。
今天的分享是基于一个数据集Drop的两篇论文，我会简单介绍下drop数据集，然后是numnet和QDGAT两篇论文。
二、Drop Dataset
1. Introduction
DROP 数据集由 AI2 实验室2019年提出，是一个类似于 SQuAD 的阅读理解 QA 数据集，但 SQuAD 很少涉及数学运算的问题，而 DROP 数据集专为考察模型去做涉及到数学运算问题的处理能力而设计。
该数据集是从维基百科中提取段落，然后在这些文章中众包生成问答对。当然，这些文章中都是数字比例很高的段落。
2. Drop:Question analysis
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KJ877OzG-1605857695575)(/Users/c/Library/Application Support/typora-user-images/image-20201116153451401.png)]
AI2团队从训练集和开发集中抽取了350个问题，并手动标注了回答问题所需的的类别，左表显示了这些类别在数据集中的分布情况。减法：28.8%。 比较：18.2% 选择：19.4% 加法：11.7% 计数：16.5%。排序：11.7%
问题分析中还给出了各种各样的语言结构，对于数字型问题，最常见的5个问题模式都以“how many”开头，表示需要执行计数和其他算术运算。右图显示了包含问题开头的问题中三元组的分布。
3. Drop:Answer analysis
同样，团队也对Drop数据集中的答案进行了分析，如上图。回答一个问题平均需要考虑2.18个span；span之间的平均距离是26个单词；20%的样本需要至少3个跨度；大部分的答案是数值和专有名词…
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
