（九十三）：Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transform

已于 2023-06-19 20:06:54 修改
阅读量343 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： “情感分析”研究方向论文-精读总结 文章标签： transformer 深度学习 计算机视觉
于 2022-05-02 19:57:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/124536982
本文介绍了针对Transformer架构的可解释性方法，包括双模态和编码器-解码器Transformer的解释。方法通过注意力图初始化和更新规则，适用于自我注意、共同注意和编码器-解码器注意。实验结果表明，该方法在解释多模态任务和目标检测任务中优于现有方法。

（九十三）：Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers

  • 出处： ICCV 2021: 387-396
  • 代码：https://github.com/hila-chefer/ Transformer-MM-Explainability
  • 题目：解释双模态和编码器-解码器变压器的一般注意模型可解释性
  • 主要内容：

Abstract

Transformers越来越多地主导多模态推理任务，例如视觉问题回答，由于它们能够利用自我注意和共同注意机制将信息文本化，从而取得了最先进的结果。这些注意力模块也在其他计算机视觉任务中发挥作用，包括目标检测和图像分割。与只使用自我注意的变形金刚不同，具有共同注意的Transformers需要同时考虑多个注意图，以便突出显示与模型输入中的预测相关的信息。
在这项工作中，我们提出了第一种方法来解释任何基于变压器的架构的预测，包括双模态变压器和共同关注的变压器。
我们提供了通用的解决方案，并将其应用于这些架构中最常用的三种：(i)纯粹的自我注意，(ii)自我注意与共同注意相结合，以及(iii)编码器-解码器注意。
我们证明了我们的方法优于现有的所有从单一模态可解释性改编的方法。
我们的代码可以在:https://github.com/hila-chefer/ Transformer-MM-Explainability获得。

1. Introduction

多模态Transformers可能会改变计算机视觉的实践方式。而

了解本专栏 订阅专栏 解锁全文
企业AI Agent的跨模态学习：融合非结构化数据的决策支持
AI天才研究院
02-22 1087
AI天才研究院是一个专注于人工智能技术研究和应用的领先机构，致力于推动人工智能技术在企业、医疗、教育等领域的创新和应用。研究院拥有一支由全球顶尖的人工智能专家、研究员和工程师组成的团队，他们在机器学习、深度学习、自然语言处理等领域拥有丰富的经验和深厚的学术背景。: 该书是计算机科学领域的经典之作，由著名计算机科学家Donald E. Knuth撰写。书中结合了东方禅宗哲学和计算机编程的智慧，提供了深刻的编程思想和技巧，对于提高编程能力和软件设计水平具有重要的指导意义。
Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
嗑研狗的日常
07-29 1255
阅读论文笔记：Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers 论文名称： Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers 论文链接： https://arxiv.org/abs/2103.15679 代码链接： ht
transformer与视觉
xys430381_1的专栏
10-18 4684
Transformer 超详细解读，一图胜千言 一张图等于 16x16 个字，计算机视觉也用上 Transformer 了
CAVER: Cross-Modal View-Mixed Transformer for Bi-Modal Salient Object Detection
qq_50988206的博客
12-28 961
大多数现有的双模态（RGB-D 和 RGB-T）显着对象检测方法利用卷积操作并构建复杂的交织融合结构来实现跨模态信息集成。卷积操作的固有局部连通性将基于卷积的方法的性能限制在天花板上。在这项工作中，我们从全局信息对齐和转换的角度重新思考这些任务。具体来说，所提出的跨模态视图混合转换器 (CAVER) 级联了几个跨模态集成单元来构建自上而下的基于转换器的信息传播路径。CAVER 将多尺度和多模态特征集成视为建立在新颖的视图混合注意力机制之上的序列到序列上下文传播和更新过程。
实时检测17个人体关键点，谷歌SOTA姿态检测模型，手机端也能运行
qq_29462849的博客
07-25 2882
编辑丨机器之心近日，来自谷歌的研究者更新了用于实时姿态检测的项目，该项目包含 3 种 SOTA 模型，其中 MoveNet 模型可检测人体 17 个关键点、并以 50+ fps 在电脑和手...
密集视频字幕总结
weixin_45922360的博客
10-25 664
密集视频字幕总结
RT-2论文翻译: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
最新发布
机器学习实战
01-26 1550
在广泛的Web规模数据集上预训练的高容量模型为各种下游任务提供了有效且强大的平台：大型语言模型不仅可以实现流畅的文本生成（Anil等，2023；Brohan等，2022；OpenAI，2023），还能实现新兴的问题解决（Cobbe等，2021；Lewkowycz等，2022；Polu等，2022）以及散文（Brown等，2020；OpenAI，2023）和代码（Chen等，2021）的创造性生成，而视觉语言模型则实现了开放词汇的视觉识别（Kirillov等，2023；Minderer等，2022；
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
AMiner通过AI技术，对计算机视觉国际大会（ICCV， International Conference on Computer Vision）收录的会议论文进行了分类整理
AI_Conf的博客
08-16 406
AMiner-ICCV 2021 https://www.aminer.cn/conf/iccv2021 1、论文名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文链接：https://www.aminer.cn/pub/6037844c91e011d7c73cd4b7 尽管使用卷积神经网络 (CNN) 作为主干在计算机视觉中取得了巨大成功，但这项工作研究了一个简单的
ICLR2020国际会议精彩演讲抢先看（含源码）！！
热门推荐
yinizhilianlove的博客
02-21 2万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
2021计算机视觉-包揽所有前沿论文源码 -上半年
江南才尽江南山，年少无知年少狂！
12-19 1万+
大家是否遇到过这种情况，就是在工作或者学习的时候，想去找一些方向的网络，但是呢，尴尬的是，老旧的网络里不想要，前沿的网络又不知道有哪些。为了解决大家的这个困扰，本人决定收集2020年大部分前沿的网络相关链接，之后我会： 每周一更新一次（下面是我多年年收集的链接地址）\color{red}{每周一更新一次（下面是我多年年收集的链接地址） }每周一更新一次（下面是我多年年收集的链接地址） 2019计算机视觉-包揽所有前沿论文源码 2020计算机视觉-包揽所有前沿论文源码 有兴趣的朋友可以加微信：a9442847
ICCV 2021 最新200篇ICCV2021论文分方向汇总
qwj的博客
04-08 7585
ICCV 2021 结果出炉！最新200篇ICCV2021论文分方向汇总（更新中） - 知乎 不久前，计算机视觉三大顶会之一ICCV2021接收结果已经公布，本次ICCV共计 6236 篇有效提交论文，其中有 1617 篇论文被接收，接收率为25.9%。 接收论文ID：https://docs.google.com/spreadsheets/u/1/d/e/2PACX-1vRfaTmsNweuaA0Gjyu58H_Cx56pGwFhcTYII0u1pg0U7MbhlgY0R6Y-BbK3xFhAiwGZ
Transformer——理论篇
qq_40240102的博客
09-30 1884
序 在看这一篇之前，我希望你有一定的基础知识： 1. CNN,RNN,Transformer比较 2. Attention机制 3. self-attention机制 本文将紧接着前文的内容，对Transformer再进行一次探索 （本人之前很浅的看过一遍，当初没有写点理论的笔记，现在忘了还得重新翻资料） Transformer没有你想的那么难，我们开篇。 Who is it? 姓名：Tra...
Bootstrap弹出模态框
qq_44883796的博客
09-28 968
弹出模态框 (Modal) 使用Bootstrap的JavaScript模态框插件可以为您的网站添加醒目的提示和交互，用于通知用户、访客交互、消息警示或自定义的内容交互（如考试问答场景-译者注） 运行原理 在开始使用Bootstrap模态框组件前，请务必阅读以下内容，因为我们的菜单选项最近有新的更改迭代。 弹出模态框是用HTML、CSS和Javascript构建的，它们位于文档中其它表现元素之上，并从中删除滚动事件，以便模态框自身的内容能得到滚动。 点击模态框的“backdrop”（灰背景区域），将自动关闭
哈佛大学NLP研究组的Transformer入门
xindebian12的博客
04-15 3423
The Annotated Transformer from IPython.display import Image Image(filename='images/aiayn.png') The Transformer from “Attention is All You Need” has been on a lot of people’s minds over the las...
（二十一）详细讲解：基于深度记忆网络的方面级情感分类
Wangzx的博客
05-12 7465
文献阅读（二十一）讲解论文导读及任务背景：泛读：论文总览及模型结构：论文精读：论文算法模型总览论文算法模型的细节1——向量转换、计算层论文算法模型的细节2——注意力实验设置及结果分析实验分析：相关工作论文总结：代码实现分析： 学习目标： 论文导读及任务背景： 传统的情感分析（SA）主要是面向文档或者句子，也就是文档层面的情感分类（document-level sentiment classification），这种粗粒度的分类只考虑文档整体的情感倾向性（sentiment polarity），在现实应
（十二）：多模态的情感分析技术综述
Wangzx的博客
04-22 3514
文献阅读（十二）：多模态的情感分析技术综述摘要引言1. 多模态情感分析数据集2. 单模态的情感分析算法3. 多模态情感分析技术以及现有的模态融合技术4. 总结和展望 摘要 主要内容： 多模态情感分析的基本概念以及研究现状简要介绍。 总结了常用的多模态情感分析数据集。 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述 介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述 讨论了多模态情感分析存在的问题以及未来的发展方向。 引言 在基于深
（十八）：基于图文融合的情感分析研究综述
Wangzx的博客
05-09 2213
文献阅读（十八）：基于图文融合的情感分析研究综述1 图文情感分析数据库2 文本及图片的情感分析2.1 文本情感分析2.2 图片情感分析3 图文特征融合3.1 特征层融合（Baseline）4 总结与展望 主要内容：包含情感分析数据库；融合的Baseline参考文献；挑战：将两个模态信息互相补充、互为印证，进而建立更完善的图文融合情感分析模型。研究图片与文本二者的相关性与异性，提升情感分析的准确率。 1 图文情感分析数据库 1.1 Flickr 数据集 1.2 VCGI及 VCGII数据集 1.3 MVS
generic attention-model explainability for interpreting bi-modal and encoder
01-10
通用注意力模型可解释性用于解释双模态和编码器的工作原理。双模态指的是通过多种输入方式，比如图像和文本，来提供信息。编码器则是用于将输入数据转换成特定形式的神经网络组件。 通用注意力模型是一种用于深度学习模型的解释性方法，它允许我们了解模型对输入的关注点。这种模型可以帮助我们解释为什么神经网络在做出特定预测时会关注于输入的某些部分。通过使用通用注意力模型，我们可以进一步了解模型是如何在处理双模态输入时进行关注的，以及在编码器中如何将不同输入转换为特定的编码。 通过通用注意力模型的解释性，我们可以观察到模型在接收图像和文本输入时分别关注于哪些特征，并了解到这些特征是如何影响模型的决策的。同时，我们也可以解释编码器是如何将不同的输入转换为特定形式的编码，并了解这些编码是如何用于后续的预测和分类任务的。 总之，通用注意力模型的解释性为我们提供了一种理解深度学习模型如何处理双模态输入和编码器的方法，使我们能够更好地理解模型的工作原理，并为模型的调整和改进提供有益的见解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值