(六十五)：GLA: Global–Local Attention for Image Description

已于 2023-06-28 22:25:23 修改
阅读量369 收藏
点赞数
分类专栏： “情感分析”研究方向论文-精读总结 文章标签： 计算机视觉 人工智能
于 2021-11-05 10:47:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/121144243
版权
本文提出了一种全局-局部注意力模型（GLA），用于图像描述生成，解决了现有方法中物体缺失和错误预测的问题。GLA模型结合了全局特征和局部特征，通过注意力机制在不同时间步骤中选择性关注语义上更重要的区域，同时保留图像上下文信息。实验在MS COCO数据集上进行，GLA方法在多个评价指标下实现了最先进的性能，证明了其在图像标题生成任务中的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（六十五）：GLA: Global–Local Attention for Image Description

  • 出处： IEEE Trans. Multim. 20(3): 726-737 (2018)
  • 代码：
  • 题目：GLA:图像描述的全局局部关注
  • 主要内容：选用𝑉𝐺𝐺16提取全局特征， 𝐹𝑎𝑠𝑡𝑒𝑟 𝑅 − 𝐶𝑁𝑁提取局部特征，通过注意力机制可以选择地关注不同时刻下的显着对象，考虑它们的图像上下文信息。但是没有考虑解码器输出时的双向语义。

Abstract

近年来，自动生成图像描述的任务引起了人工智能领域的广泛关注。得益于卷积神经网络(CNNs)和递归神经网络(RNNs)的发展，许多基于CNN-RNN框架的方法被提出来解决这一任务，并取得了显著的进展。
然而，仍有两个问题需要解决，其中大多数现有方法仅使用图像级表示。一个问题是物体缺失，在生成图像描述时可能会遗漏一些重要的物体，另一个问题是错误预测，可能会在错误的类别中识别出一个物体。
针对这两个问题，本文提出了一种新的生成图像描述的全局局部注意(global-local attention,

了解本专栏 订阅专栏 解锁全文
（二十一）详细讲解：基于深度记忆网络的方面级情感分类
Wangzx的博客
05-12 7435
文献阅读（二十一）讲解论文导读及任务背景：泛读：论文总览及模型结构：论文精读：论文算法模型总览论文算法模型的细节1——向量转换、计算层论文算法模型的细节2——注意力实验设置及结果分析实验分析：相关工作论文总结：代码实现分析： 学习目标： 论文导读及任务背景： 传统的情感分析（SA）主要是面向文档或者句子，也就是文档层面的情感分类（document-level sentiment classification），这种粗粒度的分类只考虑文档整体的情感倾向性（sentiment polarity），在现实应
（十二）：多模态的情感分析技术综述
Wangzx的博客
04-22 3426
文献阅读（十二）：多模态的情感分析技术综述摘要引言1. 多模态情感分析数据集2. 单模态的情感分析算法3. 多模态情感分析技术以及现有的模态融合技术4. 总结和展望 摘要 主要内容： 多模态情感分析的基本概念以及研究现状简要介绍。 总结了常用的多模态情感分析数据集。 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述 介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述 讨论了多模态情感分析存在的问题以及未来的发展方向。 引言 在基于深
GLA（Generative Learning algorithms）算法详解
Chandler_Liu的博客
03-02 614
GLA算法详解
【图像任务】Transformer系列.1
m0_61899108的博客
06-04 2492
​ 介绍几篇改进Transformer模型实现亮度增强、图像重建的任务：LLFormer（AAAI2023），DLSN（TPAMI2023），CAT（NeurIPS2022）。 ​
CVPR 2025 | DiG：具有门控线性注意力的高效扩散模型
最新发布
阿木寺的博客
03-06 418
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！作者：科技猛兽 ｜ 转载自：极市平台导读在相同的模型尺寸下，DiG-XL/2 比基于 Mamb...
简单图解一下线性注意力机制
zenRRan的博客
09-16 6865
知乎：刀刀宁链接：https://zhuanlan.zhihu.com/p/718156896线性注意力机制的文章有很多了，在本篇笔记中，我们简单地对各种方法进行一下图解比较，串一下当前的线性注意力机制，涉及的公式极少，主要梳理逻辑脉络。本文会从 state space model 中间状态模型这条主线，来梳理 RNN、LSTM，再到 Retentive、GLA 等 Linear Attentio...
硬件高效的线性注意力机制Gated Linear Attention论文阅读
I good vegetable a!
06-04 2583
这篇文章主要是对GLA Transformer这篇Paper进行了阅读，进一步学习Chunkwise Linear Attention的思想以及GLA特殊的2级分块Chunkwise并行。不过我在 https://github.com/sustcsonglin/flash-linear-attention 官方仓库以及Paper给出的GLA算法伪代码中都看到只有一次分块，不太清楚原因。
【AI视野·今日CV 计算机视觉论文速览 第245期】Wed, 20 Apr 2022
TomRen
04-21 2955
AI视野·今日CS.CV 计算机视觉论文速览 Wed, 20 Apr 2022 Totally 80 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Unsupervised detection of ash dieback disease (Hymenoscyphus fraxineus) using diffusion-based hyperspectral image clustering Authors Sam L. Polk, .
大学英语四级单词
热门推荐
youngerhao的专栏
11-16 18万+
a [Ai, 4, 1n, 4n] art.一(个)；任何一(个)；每一(个) abandon [4'b1nd4n] vt.离弃，丢弃；遗弃，抛弃；放弃 ability [4'biliti] n.能力，本领；才能，才智 able ['Aib4l] a.能够…的，得以…的；有才干的 aboard [4'b3:d] prep. adv.在(船、飞机、车)上，上船等 about [4'b2ut
彩色视频对象提取：GLA聚类算法的应用与比较
GLA（Globally Local Aggregation）算法是一种基于全局和局部信息相结合的聚类方法，它在处理图像数据时，能够捕捉到图像中局部特征的多样性和整体结构的关联性。 在提出的方法中，作者首先指出了在视频对象提取中...
GLA算子（Gated Linear Attention)的推导及思考
m0_73678693的博客
12-14 847
当今的大语言模型基本均是基于transformer架构而构建的，基于softmax-attention计算的transformer架构在训练时具有很好的并行性能，但transformer重要问题之一是其计算的时间、空间复杂度均与序列的长度成二次关系。而随着序列长度的不断增加，transformer架构的计算量是难以承受的，这是大模型难以处理长文本问题非常重要的原因。于是如何将transformer计算线性化（即将复杂度降到）的问题便被提上日程，具体而言便是将attention计算线性化。
GLA
03-17
GLA，全称为“GLA框架”，在编程领域中，尤其在前端开发中，它可能是一个自定义或者特定用途的框架。尽管标题和描述没有提供过多的信息，但结合标签"CSS"，我们可以推测GLA可能与CSS（层叠样式表）相关，是一个用于...
GLA：图像描述的全球本地关注
04-03
针对图像描述任务，LI等人提出了全球与本地关注机制（Global Local Attention, GLA），旨在进一步提升模型对图像关键特征的理解和表达能力。具体而言，GLA机制结合了全局关注和局部关注两种方式： 1. **全局关注**...
（十八）：基于图文融合的情感分析研究综述
Wangzx的博客
05-09 2142
文献阅读（十八）：基于图文融合的情感分析研究综述1 图文情感分析数据库2 文本及图片的情感分析2.1 文本情感分析2.2 图片情感分析3 图文特征融合3.1 特征层融合（Baseline）4 总结与展望 主要内容：包含情感分析数据库；融合的Baseline参考文献；挑战：将两个模态信息互相补充、互为印证，进而建立更完善的图文融合情感分析模型。研究图片与文本二者的相关性与异性，提升情感分析的准确率。 1 图文情感分析数据库 1.1 Flickr 数据集 1.2 VCGI及 VCGII数据集 1.3 MVS
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis
Wangzx的博客
07-29 2128
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis摘要1 Introduction2 Related Work3 CMU-MOSI Dataset4 Tensor Fusion Network4.1 Modality Embedding Subnetworks模态嵌入子网络Spoken Language Embedding Subnetwork语音嵌入子网:Visual Embedding Subnetwork
（三十）：基于交互注意力机制的多模态情感识别算法_姚懿秦
Wangzx的博客
08-17 2088
（三十）：Sentiment analysis in textual, visual and multimodal inputs using recurrent neural networks一级目录二级目录三级目录 一级目录 二级目录 三级目录
（十一）：多模态深度学习综述
Wangzx的博客
04-20 1982
文献阅读（十）：多模态深度学习综述摘要引言1. 模态表示1.1 单模态表示（语句模态表示、视觉模态表示）2. 模态传译3. 模态融合4. 模态对齐4.1 注意力对齐4.2 语义对齐5. 实际多模态系统——应用6. 国内外多模态深度学习公用数据集7. 多模态深度学习的发展方向8. 结束语 摘要 多模态深度学习实现过程中的共有问题分为： 模态表示、模态传译、模态融合和模态对齐四类，并对各类问题进行子分类和论述，同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集
（三）：基于深度学习的文本分类综述
Wangzx的博客
03-18 1927
文献阅读（三）：Deep Learning Based Text Classification A Comprehensive ReviewAbstract1 INTRODUCTION1.1 Text Classification Tasks1.2 Paper Structure2 DEEP LEARNING MODELS FOR TEXT CLASSIFICATION用于文本分类的深度学习模型2.1 Feed-Forward Neural Networks前馈神经网络2.2 RNN-Based Model
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值