视觉理解论文系列(四)ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Languag

最新推荐文章于 2024-03-08 21:15:32 发布
原创 最新推荐文章于 2024-03-08 21:15:32 发布 · 2.7k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #自然语言处理

论文介绍了ViLBERT，一个用于学习任务无关的图像和语言联合表征的模型。它采用双流结构，分别处理图像和文本，并通过共注意力层交互。ViLBERT在4个下游任务中优于特定任务的最先进的模型，展示出其在视觉和语言基础知识预训练上的优势。

摘要

本篇论文的作者来自于佐治亚理工学院、俄勒冈州立大学、Facebook AI 研究院。本文提出ViLBERT(Vision-and-Language BERT)，该模型用来学习任务无关的图像和自然语言联合表征。ViLBERT在BERT的基础上拓展为多模态的双流模型，在各自的流中处理图像和文本输入，这两个流通过Co-attention transformer层进行交互。ViLBERT应用到下游任务时仅需对基础架构进行少量的调整，实验结果表明本文的ViLBERT在4个下游任务中显著优于面向特定任务的最先进模型。ViLBERT代表了一种转折：从将学习视觉和语言之间的基础知识仅作为具体任务的一部分，转向把视觉基础知识(visual grounding)作为一种可预训练和可迁移的能力。

动机

视觉理解任务使用的主要策略是先基于其他大规模任务分别预训练视觉和语言模型，然后将其作为具体任务的一部分基础知识。然而，①这种方案学习到的基础知识并不牢靠，当visiolinguistic data有限或者有偏时(biased)，模型的泛化能力很差。
此外，②在单模态数据上学习的近乎完美的表征，往往忽略了与其他模态之间的联系。比如，即使狗品种分类的视觉表征是完美的，但在下游任务中模型若无法将该视觉表征与形如"小猎犬"或"牧羊人"这样的近似短语进行关联，这种完美的视觉表征也是近乎无用的。

贡献

本文提出的ViLBERT是一个能够从视觉-语言数据集中学习到任务无关的视觉基础知识的联合模型。本文的关键创新点在于提出一种双流机制，即分别面向视觉和语言的流。该双流能够在共注意力transformer层进行交互。该结构能够适应每种模态的不同处理需求，并在不同表示深度上提供模态之间的交互。实验结果表明，该结

最低0.47元/天 解锁文章
CVPR 2019 ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language
smile909的博客
04-17 1040
动机 现存方法的两大局限性： 视觉理解任务使用的主要策略是先基于其他大规模任务分别预训练视觉和语言模型，然后将其作为具体任务的一部分基础知识。然而，1）这种方案学习到的基础知识并不牢靠，当visiolinguistic data有限或者有偏时(biased)，模型的泛化能力很差。此外，2）在单模态数据上学习的近乎完美的表征，往往忽略了与其他模态之间的联系。比如，即使狗品种分类的视觉表征是完美的，但在下游任务中模型若无法将该视觉表征与形如"小猎犬"或"牧羊人"这样的近似短语进行关联，这种完美的视觉表征也是近乎
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
连理o的博客
01-02 1118
目录ViLBERT: Extending BERT to Jointly Represent Images and TextExperimental SettingsReferences ViLBERT: Vision-and-Language BERT ViLBERT: Extending BERT to Jointly Represent Images and Text Two-stream Architecture: ViLBERT 采用 two-stream 架构，由两个并行的 BERT-st
【论文笔记】ViLBERT:Pretraining Task-Agnostic VisiolinguisticRepresentations for Vision-and-Language Tasks
m0_58678659的博客
03-21 3122
ViLBERT 统一多模态的新 BERT 预训练模型
论文解读ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
qq_41932160的博客
03-03 3510
ViLBERT 论文解读
阅读笔记：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Task
weixin_43874380的博客
12-14 905
阅读笔记：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks Contribution 提出 ViLBERT 模型（two streams model），由两个BERT结构分别对text和image进行学习，通过cross-attention进行信息交流，在两个预训练任务（proxy tasks）上进行预训练。最后在4个task上进行finetune：visua
【论文笔记】ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for VL Tasks
gjh1716718326的博客
01-11 1798
单流模型的缺点 First, initial clustering may result in discretization error and lose important visual details. Second, it treats inputs from both modalities identically, ignoring that they may need different levels of processing due to either their inherent comp
理解vilbert
weixin_40875443的博客
02-28 224
输入bert的word embedding可以通过torch.nn.Embedding提取 链接: torch.nn.Embedding transformer的：链接: link. I. One-Hot Encoding II. Word Embedding III. Position Embedding 从transformer到bert 链接: link.
【论文】ViLBERT
Aries_young的博客
10-07 688
【论文】Lu, Jiasen, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. （pdf） What is ViLBERT 以往的 vision-and-language 任务都是先预训练好独立语言和视觉模型，然后针对特定的任务进行学习。这种方法的问题明显，就是缺少两者之间.
【NeurIPS 2019】ViLBERT
04-04 935
本文提出的ViLBERT是一个能够从视觉-语言数据集中学习到任务无关的视觉基础知识的联合模型。ViLBERT扩展了BERT模型以共同推理文本和图像。本文的关键创新点在于提出一种双流机制，即分别面向视觉和语言的流。该双流能够在共注意力transformer层进行交互：可以看到上图，绿色是图像模态，紫色是文本模态。TRM，即 transformerblock；Co-TRM 即 co-attentional transformer layer。
[读论文]语言视觉多模态预训练模型 ViLBERT
Redflashing
10-04 2146
论文地址：https://arxiv.org/abs/1908.02265 代码实现：https://github.com/facebookresearch/vilbert-multi-task 图1.ViLBERT 模型由视觉（绿色）和语言（紫色) 组成，它们通过 co-attentional transformer layer 进行互动。这种结构允许每种模式有不同的深度，并通过共同注意力实现稀疏的互动。带有乘数下标的虚线框表示重复的块。 1. Introduction ​ 针对视觉和语言任务的预训练
vilbert-multi-task:多任务视觉和语言
05-03
12合1：多任务视觉和语言表示学习 如果使用此代码，请引用以下内容。 代码和预训练模型： @InProceedings{Lu_2020_CVPR, author = {Lu, Jiasen and Goswami, Vedanuj and Rohrbach, Marcus and Parikh, Devi and Lee, Stefan}, title = {12-in-1: Multi-Task Vision and Language Representation Learning}, booktitle = {The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2020} } 和： @inproceedings{lu2019vilber
ViLBERT—(NeurIPS-2019)
大肉包的博客
09-17 1343
预训练+迁移学习
ViLBERT——BERT多模态开山之作
weixin_72914660的博客
01-22 2999
BERT多模态开山之作——如何同时处理图像-文本信息？快来看它
视觉与文本多模态模型-ViLBERT
zephyr_wang的博客
09-11 1534
1 简介 本文根据2019年《ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》翻译总结的。主要是同时处理视觉和文本输入，多模态模型。 ViLBERT ( Vision-and-Language BERT)，我们将流行的BERT模型扩展到多模双流模型，首先以分别独立的流来处理视觉和文本输入，然后通过co-attentional transformer相互作用。 2
ViLBERT：视觉语言多模态预训练模型
weixin_51697828的博客
07-22 1620
ViLBERT (Vision-and-Language BERT)是一个视觉语言预训练模型，用于学习任务无关的图像内容和自然语言的联合表征。作者将流行的BERT架构扩展成一个双流多模态模型，可以在两个独立流中分别处理视觉和文本输入，并通过共同注意力transformer层进行交互。作者利用两个代理任务，在自动收集的大型Conceptual Captions数据集上对模型进行预训练，然后对其基础架构稍作调整便迁移到现有视觉语言任务上——视觉问答(VQA，Visual Question Answering)、
ViLBERT：用于视觉和语言任务的预训练与视觉语言表征
deephub
05-27 4610
ViLBERT（Lu et al.2019）代表视觉与语言BERT。 听起来确实像是BERT模型的一个版本（Devlin等人，2018年），该模型很快就变成了NLP任务的SOTA，并集成了视觉输入。 ViLBERT是用于多模态任务，如视觉问答(VQA)和参考表达式。 方法总结 该模型有效地继承了BERT模型，BERT模型的许多部分在该方法中保持不变。 首先分别处理图像和文本输入。文本编码使用几个Transformer层独立于图像特征。所述图像特征被嵌入可输入到Transformer中;边界框用于查找和选择
图文匹配-2019：ViLBERT【第一代多模态模型；太重，文本与图片分别Embedding之后开始深度融合】【CLIP类似双塔，二ViLBERT类似单塔将两路Embedding融合】
u013250861的博客
03-08 409
ViLBERT是用于多模态任务的多任务模型，例如VQA和推荐表达式。ViLBERT是vision and language bert，同时处理图像和文本。处理两种不同的输入类型，也就是多模态学习。图像和文本模型有VideoBERT;VDBERT;VLBERT;ViLBERT;ImageBER;LXMERT;VisualBERT;MBERT;UnicoderVL;UNITER;PixelBERT;它们几乎同时提出，有细微的变化，但是基本思想相同。使用Transformer同时处理图像和文本。
ViLBERT:视觉-语言任务预训练模型
weixin_46569877的博客
11-15 985
ViLBERT:视觉-语言任务预训练模型 原文链接：论文原文 什么是预训练？ 预训练的提出可以很好的应用迁移学习。预训练的过程如小孩子读书，开始的时候把语文、数学、化学、物理、生物、历史都同时进行学习，脑子中积攒了很多知识。这样当他学习计算机的时候，可以在学习过程中应用到这些知识，但是如果之前没有上过小学，突然开始学习计算机就可能不懂其中有什么道理，这就和预训练的模型一样，预训练模型相当于人类的语言知识，人们通过学习某个东西，之后再代入到具体的任务中，之后就可以得心应手。 为什么要做预训练？ 自然语言处理，
图文结合-ViLBERT
poorlytechnology的博客
12-23 913
图文结合，自然语言处理、多模态学习、双流模型
VLTSeg: Simple Transfer of CLIP-Based Vision-Language Representations for Domain Generalized Semantic Segmentation
最新发布
08-06
### VLTSeg 方法及其在领域自适应语义分割中的应用 VLTSeg（Vision-Language Transfer Segmentation）是一种基于 CLIP（Contrastive Language–Image Pretraining）的视觉-语言模型，专门用于领域自适应语义分割任务。该方法利用了 CLIP 的强大跨模态表示能力，通过结合视觉和语言信息来提升模型在未见领域上的泛化能力。 在领域自适应语义分割中，目标是将源领域（带有标注数据）上训练的模型有效地迁移到目标领域（无标注或部分标注数据）上，而无需重新标注目标领域的数据。VLTSeg 的核心思想是利用 CLIP 模型生成的文本嵌入作为语义先验，以增强模型对目标领域中未见类别的识别能力。具体来说，该方法通过以下步骤实现： 1. **文本嵌入生成**：使用 CLIP 的文本编码器为每个类别生成对应的文本嵌入。这些嵌入捕捉了类别的语义信息，并且可以在不同领域之间保持一致性。 2. **视觉-语言对齐**：在训练过程中，将图像中的每个像素与对应的文本嵌入进行对齐。这种对齐过程通过对比学习实现，使得模型能够学习到跨模态的语义关联。 3. **领域自适应策略**：为了应对领域差异，VLTSeg 引入了领域自适应策略，例如通过对抗训练或特征对齐技术，减少源领域和目标领域之间的分布差异。 4. **推理阶段**：在推理阶段，模型利用 CLIP 的文本编码器生成的文本嵌入作为查询，对输入图像进行分割。这种方法使得模型能够处理目标领域中未见的类别，因为它依赖于文本嵌入的语义信息，而不是仅依赖于源领域的标注数据。 VLTSeg 的优势在于其能够利用 CLIP 的强大语义表示能力，从而在领域自适应任务中表现出色。特别是在目标领域中存在未见类别的情况下，该方法通过结合语言信息显著提升了模型的泛化能力。 ### 代码示例 以下是一个简化的 VLTSeg 方法的伪代码示例，展示了如何利用 CLIP 进行视觉-语言对齐： ```python import clip import torch from torchvision import transforms # 加载预训练的 CLIP 模型 device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) # 定义类别名称 class_names = ["road", "building", "sky", "person", "car"] # 生成文本嵌入 text_inputs = clip.tokenize([f"a photo of a {class_name}" for class_name in class_names]).to(device) with torch.no_grad(): text_features = model.encode_text(text_inputs) text_features /= text_features.norm(dim=-1, keepdim=True) # 图像预处理 image_transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.48145466, 0.4578275, 0.40821073), (0.26862954, 0.26130258, 0.27577711)), ]) # 加载图像并生成图像特征 image = image_transform(preprocess(Image.open("example.jpg"))).unsqueeze(0).to(device) with torch.no_grad(): image_features = model.encode_image(image) image_features /= image_features.norm(dim=-1, keepdim=True) # 计算相似度并进行分割 similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1) segmentation_mask = similarity.argmax(dim=-1) ``` ### 相关问题 1. 如何在实际应用中优化 VLTSeg 的领域自适应性能？ 2. CLIP 模型在视觉-语言任务中的局限性是什么？ 3. 领域自适应语义分割中还有哪些其他方法可以与 VLTSeg 进行比较？ 4. 如何评估 VLTSeg 在未见领域上的泛化能力？ 5. 在 VLTSeg 中，如何选择合适的文本嵌入生成策略？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值