NLP中关于MRC的数值推理(20201015第一次分享)

最新推荐文章于 2024-11-07 19:59:28 发布
最新推荐文章于 2024-11-07 19:59:28 发布
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： PyTorch NLP 文章标签： 机器学习 人工智能 自然语言处理 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mark_technology/article/details/109141632
本文探讨了数值推理在自然语言处理中的应用，分享了两篇关于机器阅读理解（MRC）的论文，重点是NumNet模型和Question Directed Graph Attention Network。这些模型针对数值比较和条件问题，利用图神经网络进行数值推理，提高了解答复杂问题的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2020.10.15 周三下午6:30

一、简介
0LGuNQ.png

​ 目前关注数值推理这一部分内容。传统的阅读理解模型如QA，将文章和问题处理后丢进模型中，模型不区分数值而给出答案，这给一些关于数值类的问题带来了准确性问题。今天我分享的是文本中的数值推理（Numerical Reasoning over text)。两篇论文使用DROP数据集。

二、论文分享一：NumNet
1. 简述
0LGGuV.png

今天分享的第一个论文是EMNLP的《NumNet: Machine Reading Comprehension with Numerical Reasoning》。

论文地址：https://www.aclweb.org/anthology/D19-1251/

GitHub地址：https://github.com/ranqiu92/NumNet

0LtAj1.md.png

​ 论文中NumNet模型结合了QANet(NAQANet)基础模块（Encoding Modul与Prediction Mod

最低0.47元/天 解锁文章
[nlp]问答摘要与推理 : 构建vocab词典
心宝的博客
11-23 1689
P.S.代码之后传到github , blog里只总结方法。 1. 分词方法选择 除了jieba分词，还有哈工大的等。下为jieba分词的例子，可以使用jieba.load_userdict(‘user_dict.txt’)载入自定义词典（一词一行），避免被分词。 ...
基于Match-LSTM算法的MRC模型：从大规模文本信息中获取所需答案
syntax_api860的博客
09-25 152
本文介绍了基于Match-LSTM算法的MRC模型的原理和实现方法，该模型通过学习文本和问题之间的匹配程度，能够从海量的文本信息中提取人们所需的答案。本文将介绍基于Match-LSTM算法的MRC模型，该模型能够从海量的文本信息中提取人们所需的答案。我们将问题和文本通过Match-LSTM模型进行编码，并使用softmax函数对每个词进行分类，得到答案的起始位置和结束位置的概率分布。模型预测阶段，我们将问题和文本通过训练好的Match-LSTM模型进行编码，并获得答案的起始位置和结束位置的概率分布。
NLPChallenge:NLP数字推理的挑战
05-24
数字推理NLP挑战 任务1 编写一个程序来识别句子边界并标记文件中的文本将“ nlp_data.txt”转换为单词。 它应该正确处理所有符号，包括标点符号和空格。 每个单词都必须落入一个句子中。 创建数据结构有效地表达您已处理的数据。 当您的程序运行时，它应该输出您的Java对象模型的XML表示形式。 提交： 实施-任务1 Main ， ChallengeTask ， NLPTask接口可以通过运行com.digitalreasoning.challenge.Main的main方法来运行该程序。 此类负责创建实现NLPTask的新ChallengeTask 。 ChallengeTask定义一个beforeTask()方法来预处理任务依赖项。 在此任务中，它将文本行存储到集合中。 @Override protected void beforeTask() throws IOE
行测：数字推理技巧
素履之往
10-10 2079
第一步：整体观察，若有线性趋势则走思路A，若没有线性趋势或线性趋势不明显则走思路B。 注：线性趋势是指数列总体上往一个方向发展，即数值越来越大，或越来越小，且直观上数值的大小变化跟项数本身有直接关联（别觉得太玄乎，其实大家做过一些题后都能有这个直觉） 第二步思路A：分析趋势 1， 增幅（包括减幅）一般做加减。 基本方法是做差，但如果做差超过三级仍找不到规律，立即转换思路，因为公考没有考过
【NLP】详聊NLP中的阅读理解（MRC）
hacker_long的专栏
03-01 1万+
机器阅读理解，笔者认为他是NLP中最有意思的任务了。机器阅读一份文档之后，可以“理解”其中的内容，并可以回答关于这份文档的问题。听上去，有一种很强的“人工智能”的Feel。这篇文章介绍机...
MRC中答案预测实现（numpy、torch、tensorflow）
醉意流年go的博客
07-11 257
MRC问答系统中答案预测
阅读理解中的数值推理(NumNet与QDGAT论文分享)
hello的博客
11-20 1452
阅读理解中的数值推理 一、概述 ​ 关注过阅读理解中数值推理这一部分的内容，传统的阅读理解模型，将文章和问题处理后丢进模型，模型不区分数值给出答案，这给一些关于数值类的问题带来了准确性的问题，今天我要分享的是阅读理解中的数值推理。 ​ ​ 今天的分享是基于一个数据集Drop的两篇论文，我会简单介绍下drop数据集，然后是numnet和QDGAT两篇论文。 二、Drop Dataset 1. Introduction ​ DROP 数据集由 AI2 实验室2019年提出，是一个类似于 SQuAD 的
什么是机器阅读理解？跟自然语言处理有什么关系？
大数据
04-29 1580
导读：机器阅读理解（Machine Reading Comprehension，MRC）是一种利用算法使计算机理解文章语义并回答相关问题的技术。由于文章和问题均采用人类语言的形式，因此机...
【文本数据挖掘初探】：机器学习中自然语言处理应用
[【文本数据挖掘初探】：机器学习中自然语言处理应用](https://forum.huawei.com/enterprise/api/file/v1/small/thread/680286792772882432.png?appid=esc_en) # 摘要 文本数据挖掘作为信息处理领域的一个分支，...
大模型微调技术 --＞ LoRA 系列之 LoRA(现今最火热的模型微调方法，甚至没有之一，下面有常用的 lora 参数)
最新发布
weixin_46034279的博客
11-07 4132
"r": 8,# 起始rank"alpha": 8,# 与rank相同"dropout": 0.1,# 默认dropout"target_modules": ["q_proj", "v_proj"]# 基础配置Step 1: 先固定其他参数,调整 rank 和 alphaStep 2: 确定最优 rank 后,可以尝试增加 target modulesStep 3: 如果还不够好,可以调整 dropout 或 学习率rank 设置过大可能导致显存不足。
【论文泛读128】CausalNLP：文本因果推理的实用工具包
scu-liu的博客
06-17 1135
贴一下汇总贴：论文阅读记录 论文链接：《CausalNLP: A Practical Toolkit for Causal Inference with Text》 一、摘要 绝大多数现有的因果推断方法和系统都假设所有考虑的变量都是分类的或数字的（例如，性别、价格、血压、入学率）。在本文中，我们介绍了 CausalNLP，这是一个从观察数据推断因果关系的工具包，除了传统的数值和分类变量外，还包括文本。CausalNLP 使用元学习器进行治疗效果估计，并支持使用原始文本及其语言属性作为治疗和“受控”变量（例如
MRC-models:机器阅读器理解的最新模型，包括match-LSTM，Bi-DAF，R-net，助记符阅读器
05-14
MRC模型 机器阅读器理解的最新模型，包括match-LSTM，Bi-DAF，R-net，助记符阅读器
【ICLR2020 论文笔记】可用于文本推理的模块神经网络（ Neural Module Networks + NLP + reasoning）
HicSuntLeones
07-06 896
Neural Module Networks for Reasoning over Text ; Nitish Gupta, Kevin Lin, Dan Roth, Sameer Singh & Matt Gardner; University of Pennsylvania, Philadelphia, University of California, Berkeley, University of California, Irvine, Allen Institute for AI 原文.
【总结向】MRC 经典模型与技术
changreal的博客
03-24 5484
MRC 经典模型与技术 目录MRC 经典模型与技术预备知识文章和问题表示文档表示模型一：RNN表示模型二：基于注意力的文档的表示问题的表示模型一：RNN表示模型二：基于注意力的问题表示（同上文文档表示）模型三：双向RNN头尾部隐层节点的表示经典AttentionSeg2SegRNN Seg2Seg卷积Seg2SegPositional EncodingNormalizationBatch norm...
【阅读笔记】机器阅读理解（中）——架构篇
changreal的博客
05-29 2038
文章目录一、MRC模型架构总体架构编码层词表向量字符编码上下文编码交互层互注意力自注意力上下文编码输出层多项式选择答案生成区间式答案自由式答案生成注意力机制的应用拷贝生成机制二、常见MRC模型BiDAFR-net融合网络单词历史全关注注意力总体架构关键词检索与阅读模型（ET-RR）检索器阅读器三、预训练模型与迁移学习基于翻译的PTM——CoVe基于语言模型的ELMo生成式PTM——GPTtransformer多头注意力位置编码残差网络GPT本身划时代的BERT双向语言模型NSP具体任务BERT的改进措施【重
华为大咖说丨什么是大模型“MRC”？
hwxiaozhi的博客
10-21 1402
例如：SORA学习物理世界是无根之水，因为人类的视频，并不是人眼的双目裸眼3D的连续学习的，而是平面的片段，然后根据裸眼3D的学习建模经验，去理解现有的影视。通常肉眼扫过去，捕捉到的信息不仅仅是内容本身，还包含表达者所使用的文字、符号、图片、表格、加粗、颜色、字体、段落、主次等等，当然，人比机器更容易捕捉到信息，同时也更容易遗忘所捕捉到的信息。例如哪部分是陈述，哪部分是周边主管建议，哪部分是激烈讨论，哪部分是领导发言，哪部分偏结论，哪部分偏遗留任务，领导建议中提到的关键词都是哪些？
NLP 作业：机器阅读理解（MRC）综述
热门推荐
zuzhiang的博客
11-17 1万+
最近自己会把自己个人博客中的文章陆陆续续的复制到优快云上来，欢迎大家关注我的 个人博客，以及我的github。 本文主要是我的 NLP 作业——机器阅读理解的综述，内容很少涉及到模型的具体架构和相关理论的证明，而是注重于机器阅读理解发展历程，大体上有哪几类模型，并且讲解几个经典模型的特点以及它改进了之前模型的什么缺点。 目录 一、机器阅读理解概述 机器阅读理解的常见任务 经典的机...
阅读理解调研及NLP其它任务转化为MRC参考
Quentin_nb的博客
06-23 1091
阅读理解调研及NLP其它任务转化为MRC参考
Question Directed Graph Attention Network for Numerical Reasoning over Text
qq_43390809的博客
02-02 1046
Question Directed Graph Attention Network for Numerical Reasoning over Text 摘要 对文本进行数字推理，如加法、减法、排序和计数，是一项具有挑战性的机器阅读理解任务，因为它需要自然语言理解和算术计算。为了应对这一挑战，作者提出了一种异构图表示，用于这种推理所需的文章和问题的上下文，并设计了一个问题导向图注意网络来驱动该上下文图上的多步数值推理。 介绍 作者认为QANET和NumNet对于复杂的数值推理是不够的，因为它们缺少数值...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值