Raki的读paper小记：SimVLM: SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION

已于 2022-09-02 16:15:09 修改
阅读量948 收藏 1
点赞数
分类专栏： 读paper Multimodal 文章标签： 深度学习 人工智能 自然语言处理 计算机视觉 bert
于 2022-08-16 20:49:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raki_J/article/details/126372983
版权

Abstract&Introduction&Related Work

  • 研究任务
    大规模端到端弱监督Visual Language Model
  • 已有方法和相关工作
    • 面临挑战标注数据的规模有限，为了提高性能，引入了各种特定于任务的辅助损失，这些设计选择使VLP的预训练范式复杂化，为进一步提高质量造成了瓶颈
    • 基于预训练-finetune的模型缺少zero-shot的能力
    • 之前的工作都是基于特定的任务上，很依赖于目标检测模型和数据
    • 最近的一些研究也探索了没有目标检测模块的VLP，但它们仅使用小规模的纯预训练数据，因此其zero-shot能力有限
  • 创新思路
    • 通过仅利用弱对齐图像-文本对上的语言建模目标，显著简化了VLP
    • 仅仅使用了language model 的 loss
  • 实验结论
    在判别和生成的vision-language benchmarks都达到了sota
    在这里插入图片描述

SimVLM

MLM风格的预训练已在以前的VLP模型中广泛采用，其中输入是图像-文本对，模型需要通过利用图像ROI（region-of-interest）特征来预测Masked Token

或者，单向语言建模（LM）训练模型，以在正向自回归因子分解下直接最大化序列x的可能性：
在这里插入图片描述

PROPOSED OBJECTIVE: PREFIX LANGUAGE MODELING

受LM损失预训练引入的zero-shot能力的启发，我们提出使用Prefix Language Modeling (PrefixLM)预处理视觉-语言表示

PrefixLM不同于标准语言模型，因此它允许对前缀序列进行双向注意力（例如，等式（3）中的x< T p T_p Tp​ ），并且仅对剩余的token（例如，x）进行自回归因子分解≥式（3）中的 T p

最低0.47元/天 解锁文章
SIMVLM：简单视觉语言模型，SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION
梁瑛平的博客
10-15 1247
@[TOC]（SIMVLM: SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION） 论文地址： [https://arxiv.org/abs/2108.10904]（https://arxiv.org/abs/2108.10904） 主要工作： 随着视觉和文本表示联合建模的最新进展，视觉-语言预训练（VLP）在许多多模态下游任务上取得了令人印象深刻的性能。然而，对昂贵的注释的要求，包括干净的图像标题和区域标签，限制了现有方法的可伸缩性
【AI Guide】AI面试攻略只用看这一篇就够了！力争做全网最全的AI面试攻略——大模型（十九）Prefix LM 与 Causal LM
最新发布
AI科研社
03-05 33
在自然语言处理（NLP）中，Prefix Language Model (Prefix LM) 和 Causal Language Model (Causal LM)是两种常见的自回归语言建模方法。Prefix LM 在训练过程中，通常对完整文本进行掩码（masking），使得部分 token 作为输入，部分 token 作为输出。Causal LM 采用单向自回归的方式，即在训练和推理过程中，每个 token 只能基于过去的 token 来预测下一个 token，而不能使用未来的信息。
SimVLM：拒绝各种花里胡哨！CMU&Google提出弱监督极简VLP模型，在多个多模态任务上性能SOTA...
我爱计算机视觉
09-02 785
关注公众号，发现CV技术之美本文介绍论文『SimVLM: Simple Visual Language Model Pretraining with Weak Supervision』，由...
【自然语言处理】【多模态】SIMVLM：基于弱监督的简单视觉语言模型预训练
bqw的博客
05-28 2120
SIMVLM：基于弱监督的简单视觉语言模型预训练 《SIMVLM：Simple Visual Language Model Pre-training with Weak Supervision》 论文地址：https://arxiv.org/pdf/2108.10904.pdf?ref=https://githubhelp.com 一、简介 ​ 基于Transformer\text{Transformer}Transformer的自监督文本表示学习已经在广泛的NLP\text{NLP}NLP任务上取得了st
CMU&Google 提出弱监督极简 VLP 模型，SimVLM，拒绝各种花里胡哨！
AI从入门到实践的博客
09-06 556
本文介绍论文『SimVLM: Simple Visual Language Model Pretraining with Weak Supervision』，由 CMU&Google 提出弱监督极简 VLP 模型，SimVLM，拒绝各种花里胡哨！在多个多模态任务上性能 SOTA。 详细信息如下： 论文链接：https://arxiv.org/abs/2108.10904 项目链接：尚未开源 导言： 随着视觉和文本表示联合建模的进展，视觉语言预训练(VLP)在许多多模态下游任务上取得了非常好的性能。
多模态 Generalized Visual Language Models
迈微AI研习社 · 号主
09-06 840
点击上方“迈微AI研习社”，选择“星标★”公众号重磅干货，第一时间送达多年来，人们一直在研究处理图像以生成文本，例如图像字幕和视觉问答。传统上，此类系统依赖对象检测网络作为视觉编码器来捕获视觉特征，然后通过文本解码器生成文本。鉴于现有的大量文献，在这篇文章中，我想只关注解决视觉语言任务的一种方法，即扩展预训练的通用语言模型以能够消费视觉信号。我将此类视觉语言模型 (VLM) 大致分为四个类别：将图...
Raki的读paper小记：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
Raki_J的博客
09-02 1529
在视觉任务上，可惜没看到NLP那边杀起来。
Raki的读paper小记：Empower Entity Set Expansion via Language Model Probing
Raki_J的博客
02-08 560
Abstract & Introduction & Related Work 研究任务 用属于同一语义类别的新实体来扩展一个小的种子实体集，是一项重要的任务。 已有方法和相关工作 现有的实体集扩展方法通过自适应选择上下文特征和提取新实体来引导种子实体集。 面临挑战 实体集扩展的一个关键挑战是避免选择模棱两可的上下文特征，因为这将改变类的语义，导致在以后的迭代中出现累积性错误 创新思路 利用自动生成的类名来解决语义漂移问题。 实验结论 在两个数据集上的实验表明，我们的框架产
Raki的读paper小记：RoBERTa: A Robustly Optimized BERT Pretraining Approach
Raki_J的博客
03-18 404
Abstract & Introduction & Related Work 研究任务 预训练语言模型 已有方法和相关工作 BERT 面临挑战 创新思路 超参数的选择对最终结果有重大影响 实验结论 bert的训练是不充足的，我们改进了训练方式达到了sota Experimental Setup Implementation Adam的 ϵ\epsilonϵ 项非常敏感，在某些情况下，我们在调整它之后获得了更好的性能或改善了稳定性。同样地，我们发现在大批量训练时，设
Raki的读paper小记：LAMOL: LANGUAGE MODELING FOR LIFELONG LANGUAGE LEARNING
Raki_J的博客
04-09 682
Abstract & Introduction & Related Work 研究任务 lifelong learning 已有方法和相关工作 面临挑战 现有方法大多基于图片或者游戏，而不是语言 创新思路 提出了一种基于语言模型的lifelong learning方法 重现以前任务的伪样本，同时不需要额外的内存或模型容量 实验结论 结果显示，LAMOL可以防止灾难性遗忘，而没有任何不妥协的迹象，并且只用一个模型就可以连续完成五种非常不同的语言任务 sota 此外，我们建议在伪
大语言模型架构设计
liguandong
05-21 1727
对大模型进行改造，比如T5的预训练目标是MLM，不是一个很好的生成模型，把目标改成PLM或FLM，继续训练，和微调不同，再次训练用的数据不是下游数据，而是额外的无监督文本数据。masked language modeling，MLM，训练bert时的完形填空，遮盖住文本中一部分token，让模型通过上下文猜测遮盖部分的token，可以像T5一样将任务改造成text2text形式，input和target都是一段文本，可以适配ND和ED，如果将input和target拼接起来，就可以适配CD。
综述 | 最新视觉-语言预训练综述
zenRRan的博客
03-03 699
每天给你送来NLP技术干货！来自：人工智能前沿讲习论文标题：VLP: A Survey on Vision-Language Pre-training论文链接：https://arxiv....
万字长文解读深度学习——多模态模型BLIP2
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-29 1920
本文解读BLIP2论文，阐述BLIP2在BLIP基础上的改进。
预训练语言模型概述（持续更新ing...）
诸神缄默不语的博客
10-08 1752
本文介绍预训练语言模型。
大模型算法岗面试题系列（二）| prefix LM 和 causal LM 区别是什么?
Code1994的博客
07-29 1860
Prefix LM通常指在给定一个文本前缀的情况下，模型能够基于这个前缀生成接下来的文本内容。
字节跳动李航：人工智能需要新的范式和理论
Kaiyuan_sjtu的博客
12-12 442
作者|李航整理|机器之心本文首先通过字节跳动人工智能实验室的一些研究成果介绍最前沿的人工智能技术，总结这一两年来人工智能领域的研究发展动态。之后本文分享了对人工智能领域长期发展的看法。前言冯 · 诺伊曼的《计算机和人脑》是人类历史上第一部将计算机和人脑相提并论的著作。这位科学巨人希望比较计算机和人脑的计算机制，为未来建立统一的计算理论打下基础。事实上，建立计算机和人脑的统一计算理论是冯 ...
VLP: A Survey on Vision-Language Pre-training 论文总结
yingdajun的博客
03-30 4783
VLP: A Survey on Vision-Language Pre-training VLP：视觉语言预训练研究综述 论文地址: https://arxiv.org/pdf/2202.09061.pdf 摘要: 在过去几年中，训练前模型的出现将计算机视觉（CV）和自然语言处理（NLP）等单峰领域带入了一个新时代。大量工作表明，它们有利于下游单峰任务，避免从头开始训练新模型。那么，这种预先训练好的模型可以应用于多模式任务吗？研究人员已经探索了这个问题，并取得了重大进展。本文综述了视觉语言预训练（VLP）
大模型面试问题记录
hellozhxy的博客
02-24 1332
在训练过程中，模型会学习这些符号的嵌入表示。INT8提供更高的压缩比，可以显著减少模型的内存占用和带宽需求，但由于量化过程中的信息损失，可能会对模型的准确性产生一定影响。这种现象通常发生在大型模型中，原因是大型模型具有更高的表示能力和更多的参数，可以更好地捕捉数据中的模式和关联。知识蒸馏是一种模型压缩技术，其中一个大型的、表现良好的模型（教师模型）被用来训练一个小型的模型（学生模型）。微调后的模型出现能力劣化，灾难性遗忘可能是因为模型在微调过程中学习到了过多的特定任务的知识，而忽略了通用的语言知识。
谷歌&HuggingFace| 零样本能力最强的语言模型结构
夕小瑶科技说
06-23 876
文 | iven从 GPT3 到 Prompt，越来越多人发现大模型在零样本学习（zero-shot）的设定下有非常好的表现。这都让大家对 AGI 的到来越来越期待。但有一件事让人非常疑惑：19 年 T5 通过“调参”发现，设计预训练模型时，Encoder-Decoder 的模型结构 + MLM 任务，在下游任务 finetune 效果是最好的。可是在 2202 年的当下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值