论文笔记《Gated-Attention Readers for Text Comprehension》

最新推荐文章于 2025-02-24 10:56:27 发布
最新推荐文章于 2025-02-24 10:56:27 发布
阅读量1.4k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 阅读理解论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010995990/article/details/79457925
论文《Gated-Attention Readers for Text Comprehension》提出GA Reader模型，使用GRU并引入新的注意力机制。模型通过双向GRU处理query和doc，然后通过K层网络进行对位相乘的element-wise运算，其中每个层的输入都与上一层的输出和queryEmb进行element-wise运算。注意力机制由queryEmb与docEmb的hadamard product得到，并通过softmax处理。当K=1时，GA Reader类似于AS Reader。该模型的主要创新在于其attention机制，区别于传统的加权平均方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

来源1606.01549

这篇论文提出的模型叫做GA Reader,用的是GRU,GRU中的两个门及候选状态的推理公式如下：这里写图片描述

GA Reader的实现思路为：
1，对于query首先也是用双向GRU处理，然后分别获取最后的状态concate一起。
2，对于doc也是用双向GRU处理，但是是输出每个时刻的Hidden，最后concate在一起。
3，然后用一个K层网络来处理，网络第一层是1，2步处理的query_emb和doc_emb对位相乘，也就是element-wise运算，假设得到的是temp_doc,然后这个temp_doc会输出到第二层，第二层完成的运算仍然是temp_doc和query_emb的对位相乘。如此循环下去。也就是说，K层会接收从K-1层来的temp_doc，然后仍然和query_doc进行element-wise运算。
4，其实与doc进行element-wise的并不是最初输出的query_doc，而是经过了一些处理的，如下面截图中3.1.2中红圈圈出来的部分，先用query_emb和doc_emb进行乘积后，再用siftmax处理获得attention，然后把这个attention与query_doc成绩后得到的query_temp,最后在用这个query_temp与doc_emb进行element-wise运算
5，K层模型的最后一层，获取到query_emb和doc_e

最低0.47元/天 解锁文章

200万优质内容无限畅学
Gated-Attention Readers for Text Comprehension
Jeaksun的博客
03-08 968
Gated-Attention Readers for Text Comprehension 文本理解中的门控attention阅读器 Abstract 本文研究的是完形填空问题式MRC，作者提出的门控注意力阅读器集中了多跳结构和一种新的注意力计算机制（基于query嵌入和RNN文档阅读器中间状态之间的乘积计算），这使阅读器能够在文档中构建特定于query的token表示形式。 1 Introduction 最近MRC模型的成功主要归因于两个原因：（1）多跳架构，允许模型迭代地扫描文档和问题以获得多次跳转.
【论文笔记14】Gated-Attention Readers for Text Comprehension
山不过来，我就过去
04-03 559
本文主要介绍GA reader模型的基本思想，由论文《Gated-Attention Readers for Text Comprehension》提出，论文直通车 1 论文概述 本篇论文的思想其实是很简单的，可以把其看成是AS reader模型的扩展，尽管模型简单，但是也取得了不错的成绩，也证明了乘法操作机制带来的效果显著。值得一提的是，论文中的相关工作部分，对之前的模型进行了分门别类的概述，这...
论文笔记——Gated-Attention Readers for Machine Reading Comprehension
IndexFziQ 优快云
09-29 2436
Inroduction 本文是ACL 2017的一篇文章，用更细粒度的gated-attention对背景文章和问题进行计算。作者是CMU的Graduate Research Assistant: Bhuwan Dhingra。文章的相关工作部分总结的很好，代码实现可以参考[GitHub]。 Background 本文针对的是MRC任务中的Cloze-Style类型，翻译过来是叫完形填空，但是...
【论文笔记】Bidirectional Attention Flow for Machine Comprehension（2017）
记录每一次小小的进步
02-20 1673
这篇论文提出了经典的BiDAF模型，即使现在BERT出现，但这篇论文提出的模型仍是具有参考价值，并且这篇论文中对模型和注意力机制进行了详细的探究，帮助我们加深理解整个机器阅读理解过程。 1.介绍 在2017年，注意力机制已经被很广泛地应用，在机器阅读理解（ machine comprehension，MC）中，注意力机制被用于聚焦上下文中与问题最相关的一段，从而实现一种信息提取的作用。 在其他论...
门控注意力机制（Gated Attention）
最新发布
wuhansong0592的专栏
02-24 2056
门控注意力机制引入了门控单元，通过门控信号来控制注意力的分配。门控单元可以根据输入的特征动态地调整注意力权重，使得模型能够更加灵活地关注不同的特征或区域。常见的门控单元有 Sigmoid 门控和 Tanh 门控等。
【论文阅读】Not All Attention Is Needed: Gated Attention Network for Sequence Data
weixin_43596314的博客
03-30 888
[2020-AAAI] Not All Attention Is Needed: Gated Attention Network for Sequence Data Abstract 传统的注意机制一般是全局的，它注意到句子中所有的单词，但有些注意权重可能很小。然而，通过对几个自然语言处理任务的研究，我们发现只有一小部分输入与输出目标相关。这也与我们的直觉一致，即不是所有的注意力都需要，特别是对于长序列。在不相关的元素上计算注意力权重是多余的。不仅如此，由于注意机制给每个输入单元分配了一个权重，即使是不相关
【论文笔记】Attention-Gated Networks for Improving Ultrasound Scan Plane Detection
1
06-24 1099
【论文笔记】Attention-Gated Networks for Improving Ultrasound Scan Plane Detection注意门控网络用于改善超声扫描平面检测
Attend and Rectify: a Gated Attention Mechanism for Fine-Grained Recovery
雪碧橙子
10-16 374
摘要 我们提出了一个全新的注意力机制，它可以强化细粒度识别的卷积神经网络。它学习了不使用部件标注的情况下，参与低水平特征激活，纠正输出的似然分布【很拗口，不知道什么意思】。相比较于其他的方法，我们提出的机制是模块化的，不依赖模型结构，参数体量和计算都很轻盈。实验显示我们机制辅助的网络提高了识别精度，并且更加的具有鲁棒性。我们辅助的Wide Residual Network 在cifar-10，St...
论文阅读--Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network.
qishengmoming的博客
01-16 760
Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network. Wenxiang Jiao, Michael R. Lyu, Irwin King: Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network. AAAI 2020: 8002-8009 Abstract Real-time emotion recogn
Attention gated networks: Learning to leverage salient regions in medical images
fanqiliang630的博客
01-10 3184
参考论文：“Attention gated networks : Learning to leverage salient regions in medical images” 关键字：Attention Gate（AG) – automatically learns to focus on target structures 主动学习将注意力放在关注的物体上的网络结构 1. Introduction AGs automatically learn to focus on target structu.
论文研究14：Deep Attention Gated Dilated Temporal Convolutional Networks with Intra-Parallel model
qq_43473149的博客
12-23 1618
论文研究14：Deep Attention Gated Dilated Temporal Convolutional Networks with Intra-Parallel Convolutional Modules for End-to-End Monaural Speech Separation abstract 单声道语音分离技术远不能令人满意，并且由于来自多个来源的干扰而成为一项具有挑战性的任务。最近，深度扩张的时间卷积网络（TCN）已被证明在序列建模中非常有效。这项工作探索了如何扩展TCN以产生
深度学习| Attention U-Net（包含Attention Gate代码）
热门推荐
qq_40306845的博客
04-24 1万+
Attention U-Net的入门理解，以及其中Attention Gate模块结构和代码的理解。
Gated Self-Matching Networks for Reading Comprehension and Question Answering论文笔记
Suan2014的博客
10-12 999
原文下载链接 摘要 检索式问答系统试图从文档中获取问题的答案。一般步骤是先从一众文档中检索相关文档，然后再进一步检索文档回答问题。本文解决的是后一步，即阅读理解式的问答系统。文章基于端到端的多层神经网络模型从篇章中获取答案。 模型分为四部分：一是使用多层双向神经网络编码问题和篇章的语义向量表示；二是使用门注意力机制得到问题感知的篇章的语义向量表示；三是通过 Self-Matching 注意力...
温故而知新——attention
like_red的博客
03-24 296
学习资料：https://zhuanlan.zhihu.com/p/149634836。带着这些问题，重新review了一下attention，这里做一些复习笔记。2）attention本身的计算是否会带上序列信息。3）在encoder中normal的作用是什么。1）attention块的时间复杂度。
SIGIR 2019 | Document Gated Reader for Open Domain Question Answering
a609640147的博客
06-13 617
基于深度学习的模型，目前也存在一些问题，例如质量不太好的远距离监督数据和答案的分数没有在多文档间归一化。更有甚者，他们单独处理每个文档，而忽略了上下文之间的信息。这个处理方法与之前的开放域问答系统不相同。在该论文中，作者提出了一个DGR（document gated reader），这个模型使用了若干个文档去生成正确的答案。作者提出的文档级别的门操作去决定问题和文档之间相关性，并且把他们嵌入到答案...
GATs《GRAPH ATTENTION NETWORKS》阅读笔记
weixin_37936515的博客
03-16 396
今天读一读Bengio大神的GATs 本篇论文Introduction所介绍的文章路线比较清晰，可以拿来做个Roadmap。 任务：Node Classification Idea: 通过Multi-head Self-attention，考虑节点的邻节点，计算每个节点的hidden representation。方法可直接应用于inductive方法。 GAT结构 本文结合了GCN和mult...
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
12-30
### Gated Axial-Attention 方法在医学图像分割中的应用 #### 背景介绍 近年来，深度卷积神经网络 (CNNs) 已经成为医学图像分割的主要工具之一，在多个应用场景下表现出色。然而，由于其固有的局限性——难以捕捉长距离依赖关系，这限制了 CNN 的表现潜力[^3]。 #### Transformer 架构的优势 相比之下，Transformer 模型通过自注意力机制能够有效地处理序列数据间的远距离交互问题，从而提供更加丰富的特征表示能力。这种特性对于需要理解复杂空间模式的任务特别有用，比如医学影像分析[^4]。 #### MedT 中的 Gated Axial-Attention 设计理念 针对医学图像特有的挑战，即有限的数据量以及高分辨率需求等问题，研究人员提出了 Medical Transformer (MedT)，它引入了一种新颖的设计——门控轴向注意力建模方式(Gated Axial-Attention)[^1]。该设计旨在解决标准 Transformers 需要大量标注样本才能良好工作的难题，并适应医疗领域内小型化且高质量的要求。 具体来说： - **门控机制**：为了增强模型的学习效率并减少过拟合风险，MedT 在传统的 Self-Attention 层之上加入了门控单元。这些门允许网络动态调整哪些部分应该被重点关注或忽略掉，进而提高了对输入信号的选择性和鲁棒性。 - **轴向注意力**：不同于常规全连接式的多头自我关注层，这里采用了分片策略来降低计算成本的同时保持足够的感受野覆盖范围。这意味着每个像素只与其所在行/列上的其他位置建立联系，而不是整个图片平面内的每一个点都相互作用。这种方法不仅简化了架构而且有助于更好地提取局部上下文信息。 ```python class GatedAxialAttention(nn.Module): def __init__(self, dim, num_heads=8, qkv_bias=False, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale = head_dim ** -0.5 # 定义查询、键和值线性变换矩阵 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) # 初始化门控参数 self.gate = nn.Parameter(torch.ones(num_heads)) def forward(self, x): B, H, W, C = x.shape qkv = self.qkv(x).reshape(B, H*W, 3, self.num_heads, C//self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv.unbind(0) # 计算注意力权重 attn = (q @ k.transpose(-2, -1)) * self.scale attn = F.softmax(attn, dim=-1) attn = self.attn_drop(attn) # 应用门控操作 gated_attn = torch.sigmoid(self.gate.view(1,-1,1,1)) * attn # 更新后的加权求和过程 x = (gated_attn @ v).transpose(1, 2).reshape(B,H,W,C) return x ``` 上述代码片段展示了如何实现一个简单的带有门控功能的轴向注意力模块。其中 `gate` 参数用来控制各个头部的重要性程度；而实际运算过程中则是通过对原始 Attention Map 施加 Sigmoid 函数得到的概率值来进行调节[^2]。 #### LoGo 策略概述 除了改进核心组件外，研究者们还开发了一套名为 “Learning from Global and Local Patches” 或简称 LoGo 的训练方案。此方法鼓励模型同时考虑整体布局与细节差异两方面因素，进一步提升了最终预测精度。具体做法是在每次迭代期间交替呈现整幅图像及其随机裁剪的小区域给定网络学习，以此促进更全面的理解能力和泛化性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值