NLP中关于MRC的数值推理(20201015第一次分享)

最新推荐文章于 2024-04-08 09:50:05 发布
原创 最新推荐文章于 2024-04-08 09:50:05 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #自然语言处理 #神经网络 #pytorch

本文探讨了数值推理在自然语言处理中的应用，分享了两篇关于机器阅读理解（MRC）的论文，重点是NumNet模型和Question Directed Graph Attention Network。这些模型针对数值比较和条件问题，利用图神经网络进行数值推理，提高了解答复杂问题的准确性。

2020.10.15 周三下午6:30

一、简介
0LGuNQ.png

​ 目前关注数值推理这一部分内容。传统的阅读理解模型如QA，将文章和问题处理后丢进模型中，模型不区分数值而给出答案，这给一些关于数值类的问题带来了准确性问题。今天我分享的是文本中的数值推理（Numerical Reasoning over text)。两篇论文使用DROP数据集。

二、论文分享一：NumNet
1. 简述
0LGGuV.png

今天分享的第一个论文是EMNLP的《NumNet: Machine Reading Comprehension with Numerical Reasoning》。

论文地址：https://www.aclweb.org/anthology/D19-1251/

GitHub地址：https://github.com/ranqiu92/NumNet

0LtAj1.md.png

​ 论文中NumNet模型结合了QANet(NAQANet)基础模块（Encoding Modul与Prediction Module），增加了一个推理模块(Reasoning Module)实现数值推理。该模型主要解决了两类问题：

​

最低0.47元/天 解锁文章
NLPChallenge:NLP数字推理的挑战
05-24
数字推理NLP挑战 任务1 编写一个程序来识别句子边界并标记文件中的文本将“ nlp_data.txt”转换为单词。 它应该正确处理所有符号，包括标点符号和空格。 每个单词都必须落入一个句子中。 创建数据结构有效地表达您已处理的数据。 当您的程序运行时，它应该输出您的Java对象模型的XML表示形式。 提交： 实施-任务1 Main ， ChallengeTask ， NLPTask接口可以通过运行com.digitalreasoning.challenge.Main的main方法来运行该程序。 此类负责创建实现NLPTask的新ChallengeTask 。 ChallengeTask定义一个beforeTask()方法来预处理任务依赖项。 在此任务中，它将文本行存储到集合中。 @Override protected void beforeTask() throws IOE
[nlp]问答摘要与推理 : 构建vocab词典
心宝的博客
11-23 1723
P.S.代码之后传到github , blog里只总结方法。 1. 分词方法选择 除了jieba分词，还有哈工大的等。下为jieba分词的例子，可以使用jieba.load_userdict(‘user_dict.txt’)载入自定义词典（一词一行），避免被分词。 ...
行测：数字推理技巧
素履之往
10-10 2215
第一步：整体观察，若有线性趋势则走思路A，若没有线性趋势或线性趋势不明显则走思路B。 注：线性趋势是指数列总体上往一个方向发展，即数值越来越大，或越来越小，且直观上数值的大小变化跟项数本身有直接关联（别觉得太玄乎，其实大家做过一些题后都能有这个直觉） 第二步思路A：分析趋势 1， 增幅（包括减幅）一般做加减。 基本方法是做差，但如果做差超过三级仍找不到规律，立即转换思路，因为公考没有考过
【NLP】详聊NLP中的阅读理解（MRC）
hacker_long的专栏
03-01 1万+
机器阅读理解，笔者认为他是NLP中最有意思的任务了。机器阅读一份文档之后，可以“理解”其中的内容，并可以回答关于这份文档的问题。听上去，有一种很强的“人工智能”的Feel。这篇文章介绍机...
MRC中答案预测实现（numpy、torch、tensorflow）
醉意流年go的博客
07-11 270
MRC问答系统中答案预测
阅读理解中的数值推理(NumNet与QDGAT论文分享)
hello的博客
11-20 1530
阅读理解中的数值推理 一、概述 ​ 关注过阅读理解中数值推理这一部分的内容，传统的阅读理解模型，将文章和问题处理后丢进模型，模型不区分数值给出答案，这给一些关于数值类的问题带来了准确性的问题，今天我要分享的是阅读理解中的数值推理。 ​ ​ 今天的分享是基于一个数据集Drop的两篇论文，我会简单介绍下drop数据集，然后是numnet和QDGAT两篇论文。 二、Drop Dataset 1. Introduction ​ DROP 数据集由 AI2 实验室2019年提出，是一个类似于 SQuAD 的
自然语言处理复习
一个努力生活的人的博客
12-30 2060
国科大自然语言处理复习
什么是机器阅读理解？跟自然语言处理有什么关系？
大数据
04-29 1612
导读：机器阅读理解（Machine Reading Comprehension，MRC）是一种利用算法使计算机理解文章语义并回答相关问题的技术。由于文章和问题均采用人类语言的形式，因此机...
【文本数据挖掘初探】：机器学习中自然语言处理应用
[【文本数据挖掘初探】：机器学习中自然语言处理应用](https://forum.huawei.com/enterprise/api/file/v1/small/thread/680286792772882432.png?appid=esc_en) # 摘要 文本数据挖掘作为信息处理领域的一个分支，...
【论文泛读128】CausalNLP：文本因果推理的实用工具包
scu-liu的博客
06-17 1265
贴一下汇总贴：论文阅读记录 论文链接：《CausalNLP: A Practical Toolkit for Causal Inference with Text》 一、摘要 绝大多数现有的因果推断方法和系统都假设所有考虑的变量都是分类的或数字的（例如，性别、价格、血压、入学率）。在本文中，我们介绍了 CausalNLP，这是一个从观察数据推断因果关系的工具包，除了传统的数值和分类变量外，还包括文本。CausalNLP 使用元学习器进行治疗效果估计，并支持使用原始文本及其语言属性作为治疗和“受控”变量（例如
【ICLR2020 论文笔记】可用于文本推理的模块神经网络（ Neural Module Networks + NLP + reasoning）
HicSuntLeones
07-06 928
Neural Module Networks for Reasoning over Text ; Nitish Gupta, Kevin Lin, Dan Roth, Sameer Singh & Matt Gardner; University of Pennsylvania, Philadelphia, University of California, Berkeley, University of California, Irvine, Allen Institute for AI 原文.
java hanlp 情感分析实现
f335830104的博客
09-11 2374
1，java 训练model //数据取自mysql public void TrainHanlpModel(Map<String, String[]> map) throws IOException { IClassifier classifier = new NaiveBayesClassifier(); classifier.train(map); NaiveBayesModel model = (NaiveBayesModel) clas
Elasticsearch 架构设计及说明
爱追剧晓三鲜的博客
12-09 1073
Elasticsearch 架构设计及说明 Elasticsearch 架构层： Elasticsearch 五层架构设计图： 说明： Elasticsearch是基于Lucene架构实现的，所以其核心层为Lucene Elasticsearch 目前支持HTTP、Thrift、Memcache三种协议，默认是HTTP JMX指在Elasticsearch中对 Java 的管理架构，用来管理Elasticsearch应用 一、节点自动发现机制 在进行Elasticsearch 分布式安装过程中，我
NumNet
qq_43390809的博客
02-24 444
NumNet: Machine Reading Comprehension with Numerical Reasoning https://arxiv.org/abs/1910.06701 https://github.com/ranqiu92/NumNet 1.Motivation 将数值推理集成到机器阅读理解模型中。两个关键因素： 数值比较：问题的答案可以通过在文档中进行数值比较，如排序和比较，直接获得。例如，在表1中，对于第一个问题，如果MRC系统知道...
[论文阅读笔记26]MRC4NER：使用阅读理解方法来解决NER任务
ld326的专栏
03-03 2199
题目 A Unified MRC Framework for Named Entity Recognition 命名实体识别的统一MRC框架 论文URL：https://www.semanticscholar.org/paper/A-Unified-MRC-Framework-for-Named-Entity-Li-Feng/d3c7971f5e1e13712a31722073983599bf71ac43 代码 : https://github.com/ShannonAI/mrc-for-flat-nest
【论文解读】NER任务中的MRC（机器阅读理解）
rip -- shun
11-30 3164
论文：https://arxiv.org/pdf/1910.11476v6.pdf 前沿： 在之前的NER任务中常常分为两种：nested NER和 flat NER。从直观的角度来看，nested NER考虑到了实体嵌套问题。 发展： flat NER的任务通常形式化为序列标记任务：序列标记模型，但是这种序列标记的模型无法考虑到实体嵌入关系问题。如中国移动是一个公司实体，而中国是一个国家实体，在flat NER中可能只能提取出中国移动整体却忽视了中国这个部分。 考虑到这个问题后，.
探索MRC-Pytorch：深度学习中的机器阅读理解框架
最新发布
gitblog_00034的博客
04-08 596
探索MRC-Pytorch：深度学习中的机器阅读理解框架 项目简介 是一个基于PyTorch的开源机器阅读理解（Machine Reading Comprehension, MRC）框架，由宋颖欣贡献。该项目旨在提供一个高效、易用的平台，帮助研究人员和开发者在NLP领域中实现和探索机器阅读理解模型。借助此框架，你可以轻松构建和训练各种MRC任务的模型，例如SQuAD、MS Marco等数据集。 技...
各种数字推理题解题技巧
热门推荐
qq_36621927的博客
11-01 3万+
 一、解题前的准备     1.熟记各种数字的运算关系。     如各种数字的平方、立方以及它们的邻居，做到看到某个数字就有感觉。这是迅速准确解好数字推理题材的前提。常见的需记住的数字关系如下：     （1）平方关系：2-4，3-9，4-16，5-25，6-36，7-49，8-64，9-81，10-100，11-121，12-144     13-169，14-196，15-225，16...
BERT-MRC：统一化MRC框架提升NER任务效果
NLPlunwenjiedu的博客
02-01 2266
受到当下一些研究者[4][5]将NLP问题转换为QA任务的启发，作者提出一种统一化MRC框架来同时解决nested NER和flat NER两种类型任务。
预训练语言模型中的数值推理技能注入
这篇论文的工作为预训练语言模型增加了新的维度，使它们能够在理解和生成语言的同时，进行有效的数值推理，这对于推动自然语言处理（NLP）领域的发展具有重要意义。这种方法为构建更加智能、更全面的自然语言处理...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值