ViLT:Vision-and-Language Transformer Withoout Convolution or Region Supervision

原创 已于 2023-01-06 11:11:22 修改 · 449 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

于 2022-12-14 09:16:12 首次发布
本文介绍了一种新的视觉与语言预训练模型ViLT，该模型摒弃了传统的区域监督和卷积架构，采用极简设计来提高模型的效率和表达能力。通过对图像和文本使用单一或双流方式进行融合，并简化特征提取过程，ViLT在保持高性能的同时解决了现有方法存在的计算效率和表达能力限制。

ViLT:Vision-and-Language Transformer Withoout Convolution or Region Supervision

如今，在多模态领域，同样采取先预训练，再进行微调的方式。

解决问题

视觉和语言预训练 (VLP) 提高了各种联合视觉和语言下游任务的性能。之前的工作发现，在视觉方面网络的模型越复杂越好，最终的结果就会越好。即当前的 VLP 方法严重依赖图像特征提取过程，其中大部分涉及区域监督（例如，对象检测）和卷积架构（例如，ResNet）。
作者认为此前的工作存在以下两个问题：
(1) 效率/速度方面存在问题，简单地提取输入特征需要比多模式交互步骤更多的计算；
(2) 表达能力，因为它是视觉嵌入器及其预定义视觉词汇表达能力的上限。仅仅用一个预训练好的模型去抽取特征，模型的表达能力是受限的，由于不是端到端的学习，可能抽取的特征非最优解。
为了解决上述问题，作者提出了一个极简化的模型。
在这里插入图片描述

为什么要选择目标检测？
  • 目标检测是天然的离散化的过程，并且有明确的语义信息，这正是transformer所需要的。
  • 下游任务往往和物体有直接的联系，即对物体有依赖性。
    虽然大部分数据集可以事先通过目标检测抽取特征。事实上，速率是个十分严重的问题，因为当你在真实世界中，去做这种应用的时候，数据是每时每秒在实时生成的，对于新数据，再做推理的时候，就没有那么多时间来做这种目标检测。
    所以，重心就转移到怎么设计一个更轻量更简单的图像特征抽取的方法。
研究方法和创新点

在这里插入图片描述

  • ViLT 是迄今为止最简单的视觉和语言模型架构，因为它委托转换器模块提取和处理视觉特征，而不是单独的深度视觉嵌入器。这种设计本质上会带来显着的运行时间和参数效率。
  • 第一次，我们在不使用区域特征或一般的深度卷积视觉嵌入器的情况下，在视觉和语言任务上取得了出色的表现。
  • 此外，我们首次凭经验表明，在 VLP 训练方案中前所未有的全词屏蔽和图像增强进一步推动了下游性能。
模态融合方法

single-stream
将image和text输入直接concatenation起来。
dual-stream
对于image和text，各自先各自将自己的输入进行一些处理，充分挖掘单独模态里包含的信息，然后再去在之后的某一个时间点做一个融合。

特征抽取
  • region features
  • grid features
  • patch projection
流程和模块

在这里插入图片描述
single-stream
在这里插入图片描述

损失函数

Image Text Matching——负对数似然损失+图像文本对齐分数
Masked Language Modeling

预训练数据集

在这里插入图片描述

实验结果

在这里插入图片描述

《论文阅读》ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
MyHeartWillGoOn
11-01 557
视觉和语言预训练（VLP）提高了各种视觉和语言联合下游任务的性能。目前的VLP方法在很大程度上依赖于图像特征提取过程，其中大部分涉及区域超视距（如目标检测）和卷积结构（如ResNet）。但我们发现它在以下两个方面存在问题：（1）效率/速度，简单地提取输入特征需要比多模态交互步骤多得多的计算；（2）表达能力，因为它是上界嵌入到和其表达能力预定义的视觉词库。
论文阅读1 ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
qq_48898746的博客
07-19 1086
本文标题翻译为**《ViLT：无需卷积或区域监督的视觉与语言变换器》**。文中介绍了一种新型的视觉与语言预训练（Vision-and-Language Pre-training, VLP）模型，称为Vision-and-Language Transformer（ViLT）。ViLT模型的主要特点是它不依赖于传统的卷积神经网络（CNN）架构或区域监督（如目标检测）来提取图像特征，而是采用一种更为简化的方法来处理视觉输入，使得模型在效率和速度上得到显著提升，同时保持了与之前VLP模型相当或更好的下游任务性能。
多模态论文笔记ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_44031582的博客
10-08 4972
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision Abstract Vision-and-Language Pre-training(VLP)提高了各种视觉-语言联合的下游任务的性能。目前的VLP方法在很大程度上依赖于图像特征提取过程，其中大多数涉及region super-vision区域监督（如对象检测）和卷积结构(如ResNet)。虽然在文献中被忽视了，但我们发现两者都有问题（1）效率/速度，
2021： ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_42653320的博客
02-24 4413
摘要 现有的VLP方法严重依赖图像特征提取过程，大多包含区域监督（如目标检测）和卷积的结构（如ResNet）。尽管在文献中忽略，但我们发现有两个问题：1）效率/速度，仅仅提取特征就比多模态交互步骤需要更多的计算；2）表达能力，因为它是视觉嵌入器及其预定义的视觉词汇的表达能力上限。本文，我们提出一个最小的VLP模型--视觉和语言Transformer(ViLT)，将视觉输入的处理大大简化为与处理文本输入相同的无卷积方式。我们证明了ViLT比以前的VLP模型快几十倍，且具有竞争力或更好的下游任...
【论文&模型讲解】ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
Friedrichor的博客
10-05 6088
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision论文讲解
ViLT: Vision-and-Language TransformerWithout Convolution or Region Supervision
最新发布
m0_52448367的博客
02-09 832
ViLT是针对视觉-语言任务（如图像字幕生成、视觉问答等）的一种模型。传统的视觉-语言模型通常使用复杂的视觉特征提取网络（如卷积神经网络）和语言处理网络（如Transformer），然后将这两部分的特征融合。ViLT的设计目标是简化这个过程，提高效率。1.1 抽取视觉特征的三种方式 现有的VLP模型（Vision-and-Language Pre-training，视觉文本多模态模型）抽取文本特征基本上都使用 pre-trained BERT的 tokenizer来得到text embeddi
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
qq_42459314的博客
12-18 484
虽然在文献中被忽略了，但我们发现在效率/速度方面存在问题，简单地提取输入特征比多模态交互步骤需要更多的计算，本文在总结了以往多模态学习工作的基础上，提出了一种新的多模态学习方法，它是第一个基于patch projection的多模态预训练模型，首个使用patch projection来做visual embedding的方法。(a) 如VSE等，对图像和文本独立使用encoder，图像的参数量更大，文本的更轻，使用简单的点积或者浅层attention层来表示两种模态特征的相似性。即 MLM loss。
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision（ViLT 无卷积或区域监督的语言视觉转换
qq_54991537的博客
01-14 1193
大概内容就是视觉与语言预训练（VLP）在各种视觉与语言联合下游任务重表现很牛逼，但是目前他们大部分都以来图像特征提取过程（比如区域监督和卷积结构）。这就导致计算量大，计算效率低。并且这种算法在计算时上限取决于视觉嵌入器与预定义的视觉词表。作者提出了一种新的简单的VLP模型（ViLT）。它在处理视觉信息时，他可以使用无卷积方法。最后结果曾敏它的运行速度非常快。
ViLT Vision-and-Language Transformer Without Convolution or Region Supervision
大肉包的博客
07-14 1110
2021年发布在ICML，称为最简单的多模态模型。
【论文精读】ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
HERODING23的博客
09-15 682
本篇工作是BERT和ViT在多模态领域的结合，在大大提高模型轻量性的同时又保证了性能，是多模态领域里程碑具有意义的工作。PaperCodeFromICML 2021视觉和语言的预训练（VLP）提高了各个VL下游任务的性能，当前的VLP严重依赖图像特征的抽取，包括区域监督和卷积架构，导致在时效（计算量大，时间长）和表征能力（效果好坏取决于表征好坏）上存在问题。
【论文精读】ViLT：Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_47748259的博客
04-21 1675
Vision-and-Language Transformer Without Convolution or Region Supervision：没有卷积或区域监督的视觉和语言转换器其实就是用transformer做多模态任务，但是没有用卷积特征和区域特征作为监督信号卷积特征指的是一个预训练好的分类模型（backbone）抽出来的特征图区域特征指的是用了一个图像的backbone之后做了一个目标检测出来的检测框代表的区域特征。
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision内容理解
乄洛尘
06-25 6838
这篇文章作为一系列多模态理解的第一篇，从这里记录本人研究内容相关话题，期待后来者共同学习，共同进步，也顺便作为笔记备份。
ViLT_Vision-and-Language Transformer Without Convolution or Region Supervision组会稿
soulesstitan的博客
07-02 400
背景知识   预训练模型后再finetune已经在cv和nlp领域证明了其可行性，同样的，这种方式在视觉和语言结合的多模态领域也能够带来一定的提升。预训练的方式可以是有监督和自监督。比如说，谷歌很多的图像分类任务都是在自己的巨大数据集JFT上预训练之后，再在imagenet上finetune。而nlp领域，bert类模型都是在大量网络上爬取的语料上进行自监督的方法预训练。目前，多模态领域也已经有了很多研究关注预训练后再在具体任务上进行微调，也证明了这种方法的有效性。(VLP代表的就是vision and l
VLT：Vision-Language Transformer用于引用的视觉语言转换和查询生成分割
Scabbards_的博客
08-03 2015
为了让模型对整个图像有一个整体的理解,我们引入了转换器和多头注意来构建一个具有编码器-解码器注意机制架构的网络，该架构可以用语言表达“查询”给定的图像。此外，我们提出了一个查询生成模块，该模块产生多组具有不同关注权重的查询，这些查询代表了从不同方面对语言表达的不同理解。同时，为了从这些基于视觉线索的多样化理解中找到最佳方法，我们进一步提出了一个查询平衡模块，自适应地选择这些查询的输出特征，以更好地生成掩码。
【iccv2021】Vision-Language Transformer and Query Generation for Referring Segmentation
lynn_Dai的博客
06-22 1268
模型在不同层次上构建了语言和视觉特征之间的深度交互，极大地增强了多模态特征的融合和利用。此外，所提出的模块是轻量级的，其参数大小大致相当于七个卷积层。
Vision-Language Transformer 使用指南
gitblog_00340的博客
08-23 497
Vision-Language Transformer 使用指南 项目概述 Vision-Language Transformer（以下简称VL-T）是基于GitHub上的一个开源项目，仓库地址为 https://github.com/henghuiding/Vision-Language-Transformer.git。本指南旨在为用户提供详尽的说明，帮助用户快速理解项目的结构、主要文件以及如何...
Vision Transformer综述阅读（1）
qq_42363777的博客
02-02 1059
Vision Transformer综述阅读主要内容提要正文 主要内容 提要 根据极客平台 vision transformer综述所记录的学习心得。 正文 这一段用于Decoder中的Mask attention, 注意的点是使用masked_fill填充和使用dropout的位置 图示: class ScaledDotProductAttention(nn.Module): ''' Scaled Dot-Product Attention ''' def __init__(se
多模态之ViLT—简化视觉端嵌入，不使用区域/卷积的视觉语言模型，细节理解与论文详细阅读：Vision-Language Transformer Without Conv or Region
小小帅
04-18 1539
现有的VLP方法：视觉语言预训练（VLP）提高了各种视觉语言联合下游任务的性能。目前的 VLP 方法严重依赖于图像特征提取过程，其中大部分涉及区域监督（如物体检测）和卷积架构（如 ResNet）。现有的VLP存在的缺陷：效率/速度，因为仅仅提取输入特征就需要比多模态交互步骤多得多的计算量；表达能力，因为它的上限是视觉嵌入器及其预定义视觉词汇的表达能力。针对上述问题，提出的VILT模型：（简化了图像输入的处理）
VILTVILT：Vision-and-language Transformer without Convolution or Region Supervision的研究动机
12-27
### 研究动机 ViLT模型旨在通过简化视觉输入处理来提高多模态学习系统的效率和效果。传统的方法依赖于复杂的卷积神经网络(CNNs)提取区域特征作为视觉表示，这不仅增加了计算成本还引入了额外的复杂度[^1]。 为了克服这些问题，ViLT采取了一种全新的视角看待视觉信息编码过程——即直接利用未经加工过的原始像素值组成的图像块(patch)，并通过线性变换映射至统一的空间维度下与文本表征相结合[^3]。这种设计使得整个框架更加简洁高效，在保持甚至超越现有技术水平的同时显著减少了资源消耗。 具体来说： - **减少计算负担**：移除深层CNN结构可以极大降低参数量以及加速推理速度； - **促进跨领域迁移能力**：由于不再受限于特定类型的物体识别任务所定义好的边界框标注数据集，因此更容易适应不同应用场景下的新挑战； - **探索更自然的人类感知机制模拟路径**：人类大脑对于外界刺激信号的感受并不区分文字还是图形形式的内容，而是作为一个整体来进行理解；同样地，去掉专门针对某一类别感官信息定制的设计有助于构建更为通用且贴近生物认知原理的人工智能系统[^2]。 综上所述，ViLT的研究目的在于创建一种既快速又有效的解决方案，能够在多种实际问题中展现出色的表现并推动该领域的进一步发展。 ```python # 示例代码展示如何加载预训练的ViLT模型（假设使用Hugging Face库） from transformers import ViltProcessor, ViltForQuestionAnswering import requests from PIL import Image processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-mlm") model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-qa") url = "http://images.cocodataset.org/val2017/000000039769.jpg" image = Image.open(requests.get(url, stream=True).raw) text = "How many cats are there?" encoding = processor(image, text, return_tensors="pt") outputs = model(**encoding) logits = outputs.logits idx = logits.argmax(-1).item() print(f"The answer is {idx}") ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值