（八十三）：Vision Transformer with Deformable Attention

已于 2023-06-20 19:52:18 修改
阅读量488 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： “情感分析”研究方向论文-精读总结 文章标签： 计算机视觉 人工智能 深度学习
于 2022-03-27 09:10:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/123135539
本文介绍了变形注意力Transformer（DAT），一种结合了可变形注意力模块和视觉Transformer的新型模型，旨在解决传统Transformer过度关注和计算成本高的问题。DAT通过数据依赖的偏移量学习，使注意力模块能聚焦于相关区域，提高信息捕获效率，同时适用于图像分类和密集预测任务。实验证明，DAT在ImageNet-1K、COCO对象检测和ADE20K语义分割等任务上优于Swin Transformer等基线，特别是在处理大对象和小对象时表现突出。

（八十三）：Vision Transformer with Deformable Attention

  • 出处：CoRR abs/2201.00520 (2022)
  • 代码：https://github.com/LeapLabTHU/DAT
  • 题目：具有变形注意力的视觉变压器
  • 主要内容：提出了一种新型可变形自注意力模块，其中以数据相关的方式选择自注意力中键值对的位置，使得自注意力模块能够专注于相关区域，并捕获更多信息特征。
  • 前两个阶段主要学习局部特征，

Abstract

Trnsformers最近在各种视觉任务上表现出卓越的表现。巨大的、有时甚至是全球性的接受域赋予Transformer模型比CNN模型更高的表现能力。然而，单纯扩大接受野也会引起一些问题。
一方面，在ViT中使用密集的注意力会导致内存和计算成本过高，并且特征会受到超出兴趣区域的不相关部分的影响。
另一方面，在PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制建模长期关系的能力。

  • 为了缓解这些问题，我们提出了一种新的可变形的自我注意模块，该模块以数据依赖的方式选择了自注意中的键和值对的位置。这种灵活的方案使自注意模块能够聚焦于相关的区域，并捕获更多的信息特征。
  • 在此基础上，我们提出了一种可变形注意变压器(Deformable Attention Transforme
了解本专栏 订阅专栏 解锁全文
DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention
AI浩
10-14 1273
带有各种注意力模块的视觉Transformer在视觉任务上已表现出卓越的性能。虽然使用稀疏自适应注意力（如在DAT中）在图像分类任务中取得了显著成果，但在对语义分割任务进行微调时，由可变形点选择的关键值对缺乏语义相关性。BiFormer中的查询感知稀疏注意力旨在使每个查询关注前kkk个路由区域。然而，在注意力计算过程中，所选的关键值对受到过多不相关查询的影响，从而降低了对更重要查询的关注度。
可变形的Tranformer算法详解与源码——DAT:Vision Transformer with Deformable Attention
qq_52053775的博客
08-26 2542
和分别表示变形的键嵌入和值嵌入。具体来说，我们将采样函数（·；·）设置为一个双线性插值，使其可微：其中和索引了上的所有位置。由于g只在最接近的4个积分点上不为零，因此它简化了等式（8）到4个地点的加权平均值。与现有的方法类似，我们对q、k、v进行多头注意，并采用相对位置偏移r。注意头的输出表述为：其中对应于之前的工作[26]之后的位置嵌入，同时有一些适应。细节将在本节后面解释。每个头的特征被连接在一起，并通过Wo进行投影，得到最终的输出z为等式(3)....
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 3687
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
Vision Transformer with Deformable Attention
weixin_42714574的博客
01-18 7086
DAT title: Vision Transformer with Deformable Attention 论文：https://arxiv.org/abs/2201.00520 代码：https://github.com/LeapLabTHU/DAT Introduction ​ 在ViT中使用密集的注意力会导致内存和计算成本过高，特征会受到超出兴趣区域的不相关部分的影响。另一方面，在PVT或Swin Transformer 中采用的稀疏注意里力是数据不可知的，可能会限制建模长期关系的能力。 ​
DAT：Vision Transformer with Deformable Attention
qq_45122568的博客
06-30 1987
这篇文章是相对于Swin-Transformer和PVT进行改进，加入了可变形机制，同时控制网络不增加太多的计算量，作者认为，缩小q对应的k的范围，能够减少无关信息的干扰，增强信息的捕捉，于是引入了到注意力模块中，提出了一种新的注意力模块：可变形多头注意力模块——对k和v进行DCN偏移后再计算注意力。将这个模块替换到Swin-Transformer的第三四阶段的滑动窗口注意力部分，获得了较好的实验性能。原文链接：Vision Transformer with Deformable Attention 源码地
Vision Transformer | CVPR 2022 - Vision Transformer with Deformable Attention
画心
06-03 2019
Deformable Attention被提出来针对Attention操作引入数据依赖的稀疏注意力
DAT：Vision Transformer with Deformable Attention——可变形注意力视觉Transformer
最新发布
Together_CZ的博客
01-08 3084
DAT：Vision Transformer with Deformable Attention——可变形注意力视觉Transformer
（二十一）详细讲解：基于深度记忆网络的方面级情感分类
Wangzx的博客
05-12 7465
文献阅读（二十一）讲解论文导读及任务背景：泛读：论文总览及模型结构：论文精读：论文算法模型总览论文算法模型的细节1——向量转换、计算层论文算法模型的细节2——注意力实验设置及结果分析实验分析：相关工作论文总结：代码实现分析： 学习目标： 论文导读及任务背景： 传统的情感分析（SA）主要是面向文档或者句子，也就是文档层面的情感分类（document-level sentiment classification），这种粗粒度的分类只考虑文档整体的情感倾向性（sentiment polarity），在现实应
（十二）：多模态的情感分析技术综述
Wangzx的博客
04-22 3514
文献阅读（十二）：多模态的情感分析技术综述摘要引言1. 多模态情感分析数据集2. 单模态的情感分析算法3. 多模态情感分析技术以及现有的模态融合技术4. 总结和展望 摘要 主要内容： 多模态情感分析的基本概念以及研究现状简要介绍。 总结了常用的多模态情感分析数据集。 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述 介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述 讨论了多模态情感分析存在的问题以及未来的发展方向。 引言 在基于深
（十八）：基于图文融合的情感分析研究综述
Wangzx的博客
05-09 2213
文献阅读（十八）：基于图文融合的情感分析研究综述1 图文情感分析数据库2 文本及图片的情感分析2.1 文本情感分析2.2 图片情感分析3 图文特征融合3.1 特征层融合（Baseline）4 总结与展望 主要内容：包含情感分析数据库；融合的Baseline参考文献；挑战：将两个模态信息互相补充、互为印证，进而建立更完善的图文融合情感分析模型。研究图片与文本二者的相关性与异性，提升情感分析的准确率。 1 图文情感分析数据库 1.1 Flickr 数据集 1.2 VCGI及 VCGII数据集 1.3 MVS
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis
Wangzx的博客
07-29 2193
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis摘要1 Introduction2 Related Work3 CMU-MOSI Dataset4 Tensor Fusion Network4.1 Modality Embedding Subnetworks模态嵌入子网络Spoken Language Embedding Subnetwork语音嵌入子网:Visual Embedding Subnetwork
（三十）：基于交互注意力机制的多模态情感识别算法_姚懿秦
Wangzx的博客
08-17 2138
（三十）：Sentiment analysis in textual, visual and multimodal inputs using recurrent neural networks一级目录二级目录三级目录 一级目录 二级目录 三级目录
（二十七）：CH-SIMS:基于情态细粒度注释的中文多模态情感分析数据集
Wangzx的博客
06-01 2029
文献阅读（二十七）：CH-SIMS:基于情态细粒度注释的中文多情态情感分析数据集Abstract1 Introduction2 Related Work2.1 Multimodal Datasets2.2 Multimodal Sentiment Analysis2.3 Multi-task Learning3 CH-SIMS Dataset3.1 Data Collection3.2 Annotation3.3 Extracted Features4 Multimodal Multi-task Learn
（十一）：多模态深度学习综述
Wangzx的博客
04-20 2025
文献阅读（十）：多模态深度学习综述摘要引言1. 模态表示1.1 单模态表示（语句模态表示、视觉模态表示）2. 模态传译3. 模态融合4. 模态对齐4.1 注意力对齐4.2 语义对齐5. 实际多模态系统——应用6. 国内外多模态深度学习公用数据集7. 多模态深度学习的发展方向8. 结束语 摘要 多模态深度学习实现过程中的共有问题分为： 模态表示、模态传译、模态融合和模态对齐四类，并对各类问题进行子分类和论述，同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集
（五十二）：多模态情感分析研究综述_张亚洲
Wangzx的博客
09-24 1989
（五十二）多模态情感分析研究综述_张亚洲Abstract1 叙述式多模态情感分析1. 1 静态多模态情感分析（文本与图像划分为静态文档）1. 1. 1 基于机器学习的方法1. 1. 2 基于深度学习的方法1. 2 动态多模态情感分析（音频与视频划分为动态文档）1. 2. 1 基于机器学习的方法1. 2. 2 基于深度学习的方法2 交互式多模态情感分析2. 1 多模态会话情感数据集2. 2 多模态会话情感分析模型3 多模态情感分析存在的交互建模科学问题3.1 模态内的词项交互问题3. 2 模态间的多模态交互问
（三）：基于深度学习的文本分类综述
Wangzx的博客
03-18 1943
文献阅读（三）：Deep Learning Based Text Classification A Comprehensive ReviewAbstract1 INTRODUCTION1.1 Text Classification Tasks1.2 Paper Structure2 DEEP LEARNING MODELS FOR TEXT CLASSIFICATION用于文本分类的深度学习模型2.1 Feed-Forward Neural Networks前馈神经网络2.2 RNN-Based Model
（二十六）：Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multim
Wangzx的博客
05-30 1687
文献阅读（二十六）：Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment AnalysisAbstract1 Introduction2 Related Work2.1 Multimodal Sentiment Analysis2.2 Transformer and BERT2.3 Multi-task Learning3 Methodology
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值