LXMERT: Learning Cross-Modality Encoder Representationsfrom Transformers

原创

已于 2022-12-20 07:03:11 修改 · 912 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #计算机视觉

于 2022-12-19 05:20:26 首次发布

LXMERT:学习Transformer的跨模态编码器表示

一、创新点

构建了一个大规模Transformer模型，该模型由3个编码器组成：

（1）对象关系编码器（object relationship encoder）

（2）语言编码器（language encoder）

（3）跨模态编码器（cross-modality encoder）

然后用大量的图像-句子对对模型进行预训练 ,用来学习模态内和跨模态关系。

二、方法

三、过程

1.Input Embeddings（输入嵌入）

LXMERT中的输入嵌入层将输入（即图像和句子）转换为两个特征序列：单词级句子嵌入和对象级图像嵌入。这些嵌入特征将由后一编码层进一步处理。

（1）Word-Level Sentence Embeddings

一个句子首先被相同的WordPiece tokenizer拆分为长度为n的单词。接下来，如图1所示，通过嵌入子层将单词及其索引（index）i（

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

pinkshell_1314

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

lxmert:learning cross-modality encoder representations from transformers

liguandong

06-20

1207

LXMERT: Learning Cross-Modality Encoder Representations from Transformers 论文笔记_小有名气的可爱鬼的博客-优快云博客视觉 - 语言推理需要对视觉概念、语言语义有一定的理解，尤其还需要能在这两个模态之间进行对齐、找到关系。作者们提出了 LXMERT 框架来学习这些语言和视觉的联系，它含有三个编码器：一个对象关系编码器、一个语言编码器和一个跨模态编码器。为了让模型具备联系视觉和语言语义的能力，使用了 5 个不同的有代表性的预训练任务：

【论文笔记】LXMERT: Learning Cross-Modality Encoder Representations from Transformers

gjh1716718326的博客

12-21

1204

Vision-and-language reasoning requires an understanding of visual concepts, language semantics, and, most importantly, the alignment and relationships between these two modalities. 做视觉文本的理解任务，需要模型能理解视觉概念和文本语义信息，但最重要的是视觉和文本的对齐问题。数据库：VQA GQA NLVR .

参与评论您还未登录，请先登录后发表或查看评论

LXMERT:从Transformers学习跨模态编码器表示LXMERT: Learning Cross-Modality Encoder Representations from Transfors

欢迎交流！

06-10

2804

视觉和语言推理需要理解视觉概念、语言语义，以及最重要的是，这两种模式之间的对齐和关系。因此，原论文提出了LXMERT（从Transforms学习跨模态编码器表示）框架来学习这些视觉和语言连接。在LXMERT中，原论文构建了一个大型转换器模型，该模型由三个编码器组成：对象关系编码器、语言编码器和跨模态编码器。接下来，为了赋予模型连接视觉和语言语义的能力，原论文通过五个不同的代表性预训练任务，使用大量图像和句子对模型进行预训练：masked语言建模，masked对象预测（特征回归和标签分类），跨模态匹配和图像问

LXMERT: Learning Cross-Modality Encoder Representations from Transformers

连理o的博客

01-03

1260

目录Model ArchitecturePre-Training StrategiesExperimental Setup and ResultsReferences LXMERT: Learning Cross-Modality Encoder Represen-tations from Transformers Model Architecture Input Embeddings: input embedding layers 负责将 sentence 和 image 分别转化为 word-l

EMNLP 2019 LXMERT: Learning Cross-Modality Encoder Representations from Transformers

smile909的博客

04-20

491

动机视觉语言推理要求对视觉内容、语言语义以及跨模态的对齐和关系进行理解。过去已有大量的工作，分别开发具有更好的表示方法的骨干模型，用于语言和语音的单一模态。对于现有的视觉内容，人们已经开发了几个骨干模型，并在大型视觉数据集上显示了它们的有效性。开拓性工作还通过在不同任务上微调这些预训练的（特别是在ImageNet上）骨干模型来显示它们的泛化性。在语言理解方面，去年，本论文在构建具有大规模语境化语言模型预训练的通用背骨模型方面取得了强劲进展，这将各种任务的性能提高到了显著水平。尽管有这些影响较大的单模态研究

2019LXMERT：Learning Cross-Modality Encoder Representations from Transformers

weixin_42653320的博客

07-23

429

摘要视觉-语言推理不仅需要视觉概念、语言语义的理解，更需要这两个模态的对齐和关系。因此，我们提出LXMERT(从Transformers中学习跨模态编码器表示)框架来学习视觉和语言的连接。在LXMERT中，我们构建了一个大规模的Transformer模型包含三个编码器：一个对象关系编码器、一个语言编码器和一个跨模态编码器。接下来，为了赋予我们模型连接视觉和语言语义的能力，我们通过五种不同的预训练任务(掩码语言建模、掩码对象预测(特征回归和标签分类)、跨模态匹配和图像问答)，用大量图像和句...

LXMERT: Learning Cross-Modality Encoder Representations from Transformers 论文笔记

weixin_42305378的博客

02-16

3336

视觉 - 语言推理需要对视觉概念、语言语义有一定的理解，尤其还需要能在这两个模态之间进行对齐、找到关系。作者们提出了 LXMERT 框架来学习这些语言和视觉的联系，它含有三个编码器：一个对象关系编码器、一个语言编码器和一个跨模态编码器。为了让模型具备联系视觉和语言语义的能力，使用了 5 个不同的有代表性的预训练任务：（1）掩码交叉模态语言建模；（2）通过ROI特征回归进行掩码目标预测；（3）通过检测到的标签分类进行掩蔽目标预测；（4）交叉模态匹配；（5）图像问题解答。这些多模态预训练既可以帮助学习同一个

浅读LXMERT: Learning Cross-Modality Encoder Representations from Transformers

weixin_45347379的博客

12-28

1363

这篇文章提出的模型在视觉问答（VQA，GQA）上得到了最好的结果，甚至今年后续以此为基础或对照的的文章都没有超越这个结果。论文中很多地方提到这一方法是用到了BERT模型的方法（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding）参考博客：博客直接上图，从图中可以看到，模型整体流程并不难懂，首先是得到视觉和文本的嵌入，然后先进行单模态的自注意编码（这里似乎没有加入跨模态的门机制进行自注意，.

从Transformers学习跨模态编码器表示《LXMERT: Learning Cross-Modality Encoder Representations from Transformers》

xiashilin的博客

02-04

7194

目录一、文献摘要介绍二、网络框架介绍三、实验分析四、结论这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收货。如有不足，随时欢迎交流和探讨。一、文献摘要介绍 Vision-and-language reasoning requires an understanding of visual concepts, language semantics, an...

LXMERT:Learning Cross-Modality Encoder Representations from Transformers

qq_56551150的博客

12-13

315

针对视觉和语言模态对的大规模预训练和微调的模型。

lxmertcatt

03-08

最重要的事情。我们的代码是根据以下内容开发的： LXMERT：从变压器学习跨模态编码器表示形式（）这是他们的自述文件。在几个截止日期之后，我将更新我们的。介绍 EMNLP 2019论文PyTorch代码。我们的EMNLP 2019演讲的幻灯片可。要分析预训练模型的输出（而不是对下游任务进行微调），请加载权重https://nlp1.cs.unc.edu/data/github_pretrain/lxmert20/Epoch20_LXRT.pth在部分中进行。的默认权重是通过与此代码稍有不同的协议来训练的。结果（使用此Github版本）分裂本地验证 69.90％ 59.80％ 74.95％测试开发 72.42％ 60.00％ 74.45％（测试P）测试标准 72.54％ 60.33％ 76.18％（Test-U）表中的所有结果都是使用此代

＜＜多模态预训练and视觉问答＞＞2019：LXMERT: Learning Cross-Modality Encoder Representations from Transformers

金克丝的博客

12-24

1066

摘要：视觉语言推理需要理解视觉概念、语言语义，以及最重要的，这两种模式之间的对齐和关系。因此，我们提出LXMERT(利用Transformers学习跨模态编码器表示)框架来学习这些视觉和语言的关系，在LXMERT中，我们构建了一个大规模的Transformer模型，该模型由三个编码器组成：对象关系编码器、语言编码器和跨模态编码器，接下来，为了赋予我们的模型连接视觉和语言语义的能力，我们使用大量的图像和句子对对模型进行预训练，通过五个不同的具有代表性的预训练任务：掩码语言模型、掩蔽对象...

【论文】LXMERT

Aries_young的博客

10-11

814

【论文】Tan, Hao, and Mohit Bansal. Lxmert: Learning cross-modality encoder representations from transformers. （pdf） Why is LXMERT 和 ViLBERT 一样，LXMERT 主要也是为了解决两种模态的之间没有交互的问题。在 LXMERT 中作者通过 3 种编码器的叠加构建了一个大型的 transformer 模型，这三个编码器分别为：对象关系编码器，语言编码器和跨模态编码器。同时，作.

大模型-LXMERT 详细介绍