A Decomposable Attention Model for Natural Language Inference阅读笔记

最新推荐文章于 2024-09-18 21:31:01 发布
最新推荐文章于 2024-09-18 21:31:01 发布
阅读量1.0k 收藏 2
点赞数
分类专栏： 论文阅读 文本匹配论文阅读 文章标签： 文本相似
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/leo_95/article/details/89111885
版权
本文详细解析了A Decomposable Attention Model在文本相似性任务中的应用，包括输入表示、注意力机制、比较和聚合四个步骤。模型利用ReLU激活的前馈网络计算注意力权重，通过比较和聚合操作进行句子级别的信息整合，最终使用交叉熵损失函数进行分类。实验在SNLI数据集上进行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

模型

模型主要包括四部分: Input representation, Attend, Compare, Aggregate

Input representation

最简单的方式就是直接将词向量作为输入.更复杂的方式见后面optinal部分.

Attend

首先计算a和b中的每个词之间的attention weights

F是一个激活函数为ReLU的前馈神经网络。
attention权重如下:

Compare

该模块的功能主要是对加权后的一个句子与另一个原始句子进行比较

这里的G也是一个前馈神经网络

Aggregate

上一步得到两个比较向量的集合,分别求和

将两个向量concatenate后使用前馈神经网络进行分类, 损失函数利用交叉熵损失函数

Intra-Sentence Attention(Optional)

上面的模型使用词向量作为输入, 除此之外, 还可以在每个句子中使用句子内的attention方式来加强输入词语的语义信息.

这里 F i n t r a F_{intra} F

最低0.47元/天 解锁文章
【NLP】文本匹配——Enhanced LSTM for Natural Language Inference阅读与总结
让算法融入生活，改变生活！
04-17 1102
背景 这篇论文是来自于 ACL 2017，论文地址：https://arxiv.org/abs/1609.06038. 首先了解一下什么是， Natural Language Inference，自然语言推理。根据Natural language inference上的介绍：Natural language inference is the task of determining whether a “hypothesis” is true (entailment), false (contradictio
【论文阅读】 A Decomposable Attention Model for Natural Language Inference
qq_36643449的博客
05-18 797
任务定义：输入前提文本(premise)和假设文本(hypothesis)，预测假设文本和前提文本之间的关系——蕴含、矛盾或中立。 现有的模型计算量非常庞大，模型的参数非常多。与现有的方法相比，该方法仅依赖于对齐方式，并且对于输入文本完全是可分解的。 模型架构如上图所示，输入两个句子，句子中的每个词都用一个embedding向量表示，首先基于neural attention创建一个软对齐矩阵；然后通过软对齐将整个task分解成可以独立解决的子问题；最终，这些子问题的结果被整合起来从而预测最终的分类结果。除
《A Decomposable Attention Model for Natural Language Inference》论文总结
Ezail的博客
03-14 2088
问题介绍： Natural language inference,自然语言推断。其实就是文本蕴含任务(text entailment)，任务的形式是：给定一个前提文本（premise），根据这个premise去推断假说文本（hypothesis）与premise的关系，一般分为蕴含关系（entailment）和矛盾关系（contradiction），蕴含关系（entailment）表示从prem...
[EMNLP2016]A Decomposable Attention Model for Natural Language Inference
Deep Learning and NLP Farm
08-14 2276
自然语言推理：给出两句话，判断它们是entailed, contradicts还是neural
论文记录：A Decomposable Attention Model for Natural Language Inference
qq_14810321的博客
08-22 265
一个简洁高效的textual entailment model 特点： 模型小，效果好 思路清晰 方法： 交叉使用attention model进行信息互嵌（AM） 使用self-attention（BERT， transformer） + relative-position embedding（XLnet） 进行contextual embedding 将自嵌与互嵌的vector进行co...
<A Decomposable Attention Model for Natural Language Inference>（自然语言推理）
anqiu4023的博客
05-28 497
http://www.xue63.com/toutiaojy/20180327G0DXP000.html 本文提出一种简单的自然语言推理任务下的神经网络结构，利用注意力机制（Attention Mechanism）将问题分解为可以单独解决的子问题，从而实现了并行化。在斯坦福自然语言推理（SNLI）数据集上，本文工作取得了极好的效果，并且比之前的工作减少了一个数量级的参数数量，而且...
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6216
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
文本检索及匹配论文阅读笔记汇总（不定期更新）
Leokb24的博客
09-23 1494
文章目录DRMMK-NRMPACRR && Co-PACRREnhanced DRMM DRMM A Deep Relevance Matching Model for Ad-hoc Retrieval K-NRM End-to-End Neural Ad-hoc Ranking with Kernel Pooling PACRR && Co-PACRR PACRR...
Read + Verify: Machine Reading Comprehension with Unanswerable Questions 论文阅读笔记
maka_uir的博客
11-02 2750
原文链接：http://cn.arxiv.org/pdf/1808.05759 Read + Verify: Machine Reading Comprehension with Unanswerable Questions  本篇文章创新点： 1 提出了reader - vertify 结构，首先生成一个答案，再验证答案的合理性 2 提出了三种模型 3 提出了两个独立的loss函数作为...
深度学习模型复现难？看看这篇句子对模型的复现论文
Paper weekly
06-19 5478
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
【论文笔记】Decomposable attention
Preke的专栏
07-12 3732
是这个Paper的一些笔记 Parikh A P, Täckström O, Das D, et al. A decomposable attention model for natural language inference[J]. arXiv preprint arXiv:1606.01933, 2016. 这是一个比较简单易行的方法：两个句子之间怎么做attention 下面...
Decomposable Attention Model
07-04
Decomposable Attention Model for Natural Language Inference
A Decomposable Attention Model for Natural Language Inference论文学习
hxshine的博客
03-09 202
论文：https://arxiv.org/abs/1606.01933 一、总结 感觉就是利用attention完成的一个网络结构，故事讲得非常好。 二、代码解读 https://github.com/HsiaoYetGun/Decomposable-Attention ''' Created on August 1, 2018 @author : hsiaoyetgun (yqxiao) Reference : A Decomposable Attention Model for Natural L.
Enhanced LSTM for Natural Language Inference
我爱写报告的博客
12-25 3062
题目： Enhanced LSTM for Natural Language Inference 作者： Qian Chen, Xiaodan Zhu, Zhenhua Ling, Si Wei, Hui Jiang, Diana Inkpen 单位： University of Science and Technology of China, National Research Counci
【机器学习】--- 自然语言推理（NLI）
最新发布
2301_80863610的博客
09-18 4577
NLI任务的目标是判断给定的一对句子，即前提（premise）和假设（hypothesis）蕴含（Entailment）：假设可以从前提中推断出。矛盾（Contradiction）：假设与前提相矛盾。中立（Neutral）：假设与前提既不矛盾也无法从前提中推断出。自然语言推理（NLI）作为自然语言理解任务中的一个重要问题，不仅在理论研究中具有重要意义，还在许多实际应用中扮演了关键角色。随着深度学习和预训练语言模型的飞速发展，NLI模型的性能取得了巨大提升。
Natural Language Inference Over Interaction Space(DIIN)阅读笔记
Leokb24的博客
04-12 1763
文章目录IntroductionModelInteractive Inference Network(IIN)Densely Interactive Inference Network(DIIN)Embedding LayerEncoding LayerInteraction LayerFeature Extraction LayerOutput Layer实验数据参数设置 Introductio...
【NLP】21个经典深度学习句间关系模型｜代码&技巧
fengdu78的博客
03-20 2214
卷友们好，我是rumor。鸽了很久的NLP入门系列终于在我的努力下又更新了。上次聊了分类任务的模型与技巧，今天我们就来聊聊句间关系任务。句间关系的输入是一对文本，输出是文本间的关系。常用的...
论文笔记&翻译——Enhanced LSTM for Natural Language Inference(ESIM)
Congying-Wang的博客
12-13 6023
文章目录0.前言1. 模型结构1.1 input encoding1.2 local inference modeling1.3 inference composition2. 模型实现 0.前言 在Query 扩召回项目中，通过各种手段挖掘出一批同义词，想对其进行流程化，所以考虑加上语义推断，在同事的推荐下使用了 EMIS 模型，据了解这个模型在近两年横扫了好多比赛，算是 NLI (Natura...
attention model
09-23
引用提到了一个名为Decomposable Attention Model for Natural Language Inference的注意力模型。该模型用于自然语言推理任务。引用解释了Attention的分类，包括空间注意力和时间注意力，以及软注意力和硬注意力。软注意力指的是所有的数据都会被注意到，并计算相应的注意力权重，不设置筛选条件。硬注意力在生成注意力权重后，会筛选掉一部分不符合条件的注意力，将它们的权重设为0，即不再关注这些部分。引用提到，当人们注意到某个目标或场景时，目标内部以及场景内的每个空间位置上的注意力分布是不一样的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值