Raki的读paper小记：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks

最新推荐文章于 2025-02-16 22:23:13 发布
最新推荐文章于 2025-02-16 22:23:13 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： 读paper Multimodal 文章标签： 深度学习 计算机视觉 人工智能 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raki_J/article/details/126514576
版权

Abstract&Introduction&Related Work

  • 研究任务
    • 语言+视觉模态预训练任务
  • 已有方法和相关工作
    • masked data已经成为一种主流
  • 面临挑战
    • 现有的多模态大模型不同模态之间的参数的共享不够高效
  • 创新思路
    • 使用Multiway Transformers来通用建模，使用一个统一个结构共享不同下游任务
    • 模块化的网络同时充分考虑到了模态独特的编码和跨模态融合
    • 别的大模型往往使用了很多训练任务，而本文中仅仅使用mask-then-predict来训练通用的多模态模型
    • 将图片视为外语，把图片和文本做相同的处理，因此图片-文本对被视为平行语料来学习模态的对齐
    • 仅仅使用了公开数据集
  • 实验结论
    • 在目标检测，语义分割，图像分类，视觉推理，视觉问答，图像字幕，多模态抽取上都达到了sota（什么CV杀神？）

在这里插入图片描述
在视觉任务上全方位乱杀，可惜没看到NLP那边杀起来

最低0.47元/天 解锁文章
51-13 多模态论文串讲—BEiTv3,Image as a Foreign Language:BEiT Pretraining for All Vision and Vision-Lan论文精读
AIgraphX
01-13 1664
BEIT-3的核心思想是将图像建模为一种语言，这样我们就可以对图像、文本以及图像-文本对进行统一的maskmodeling。Multi-way transformer模型可以有效地完成不同的视觉和视觉语言任务，使其成为通用建模的一个有效选择。同时，本文也对多模态大模型的发展作了一个简单的总结。
极智Paper | 性能数据炸裂的多模态模型BEiT-3：Image as a Forign Language
极智视界
08-30 1151
大家好，我是极智视界，本文解读一下 性能数据炸裂的多模态模型 BEiT-3：Image as a Forign Language。
【多模态】BEiT V3：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
vivid
06-27 739
论文：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks链接：https://arxiv.org/pdf/2208.10442。
文献阅读：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
codename_cys的博客
10-23 1369
文献阅读：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
Image as a Foreign Language: BEIT Pretraining forAll Vision and Vision-Language Tasks
最新发布
m0_52448367的博客
02-16 150
只有后面Feed Forward Network不一样，根据不同的Modality训练不同的Vision、Language、Vision Language三个不同的Expert，然后通过调整不同的Input Modality去选择模型分支。模型用了Multi-Way Transformer，前面的自注意力全都是。可能遮住了图像，可能是遮住了文本，模型训练学习去恢复它就可以。Mask Data Modeling目标函数。
BEiT-3：将图像视为一种外语：用于视觉和视觉-语言任务的BEiT预训练(速读版)
weixin_51697828的博客
08-28 2088
在本文中，我们提出了一个通用的多模态基础模型BEiT-3，它在广泛的视觉和视觉-语言基准上实现了最先进的性能。BEiT-3的核心思想是，将图像视为一种外语，这样我们就可以对图像、文本以及图像-文本对进行统一的掩码“语言”建模。...
论文解读：(BEIT-3)Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
weixin_50917576的博客
04-25 2301
语言、视觉和多模态预训练的大融合正在出现。在这项工作中，我们介绍了一个通用的多模态基础模型BEIT-3，它在视觉和视觉语言任务上实现了最先进的迁移性能。具体来说，我们从主干架构、预训练任务和模型扩展三个方面推进了大收敛。我们介绍了用于通用建模的多路Transformers，其中模块化体系结构支持深度融合和特定于模态的编码。基于共享主干，我们以统一的方式对图像(英语)、文本(英语)和图像-文本对(“平行句”)执行掩码“语言”建模。
Raki的读paper小记：SimVLM: SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION
Raki_J的博客
08-16 948
在我们的初步实验中，我们发现编码器-解码器模型引入的inductive bias将编码与生成解耦，有助于改善下游任务。另一方面，我们的PrefixLM公式是模态无关的，因此我们可以另外包括纯文本语料库，以补偿alt文本数据中的噪声文本监督。与以前的MLM风格的VLP方法相比，我们在序列到序列框架下的PrefixLM模型不仅享有MLM中的双向上下文表示，而且可以执行类似于LM的文本生成。我们的工作为现有的VLP范式提供了一个很有前途的替代方案，我们希望我们的工作能够启发生成VLP的未来研究。......
Raki的读paper小记：LAMOL: LANGUAGE MODELING FOR LIFELONG LANGUAGE LEARNING
Raki_J的博客
04-09 682
Abstract & Introduction & Related Work 研究任务 lifelong learning 已有方法和相关工作 面临挑战 现有方法大多基于图片或者游戏，而不是语言 创新思路 提出了一种基于语言模型的lifelong learning方法 重现以前任务的伪样本，同时不需要额外的内存或模型容量 实验结论 结果显示，LAMOL可以防止灾难性遗忘，而没有任何不妥协的迹象，并且只用一个模型就可以连续完成五种非常不同的语言任务 sota 此外，我们建议在伪
Raki的读paper小记：Retentive Network: A Successor to Transformer for Large Language Models
Raki_J的博客
07-24 638
RetNet = linear attention + rope + 显式衰减（即 $\gamma$）
Raki的读paper小记：RoBERTa: A Robustly Optimized BERT Pretraining Approach
Raki_J的博客
03-18 404
Abstract & Introduction & Related Work 研究任务 预训练语言模型 已有方法和相关工作 BERT 面临挑战 创新思路 超参数的选择对最终结果有重大影响 实验结论 bert的训练是不充足的，我们改进了训练方式达到了sota Experimental Setup Implementation Adam的 ϵ\epsilonϵ 项非常敏感，在某些情况下，我们在调整它之后获得了更好的性能或改善了稳定性。同样地，我们发现在大批量训练时，设
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
NLP领域取得最重大突破！谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
VL-BEiT：Generative Vision-Language Pretraining（生成Vision-Language预训练）
AcceptGo的博客
06-07 2251
引入一个称之为VL-BEiT的vision-language基础模型，其是通过生成预训练学习到的双向多模态Transformer。这里使用一个共享Transformer对单模态和多模态数据进行masked prediction（掩盖预测）。具体地，对image-text pairs执行masked vision-language modeling，对texts执行masked language modeling，对image执行masked image modeling。......
【论文笔记】BEIT 3 ——Image as a Foreign Language: BEIT Pretraining forAll Vision and Vision-Language Tasks
weixin_50862344的博客
06-25 608
beit，beit2都还只是单模态的工作，到第三代变成了一个多模态的工作，半响不敢确认是不是beit3... 这篇工作还是能看到他们组其他工作的影子，beit系列自不必多说，还有vlmo等，可以算是一个集大成的工作。六边形战士。
图像也是一门语言？微软提出19亿参数的超大通用模型BEIT-3，刷榜多个CV和多模态任务！
努力努力再努力的小马
08-30 752
在本文中，作者提出了 BEIT-3，这是一种通用的多模态基础模型，它在广泛的视觉和视觉语言基准测试中实现了最先进的性能。BEIT-3 的核心思想是图像可以建模为一门外语，这样就可以统一对图像、文本和图文对进行蒙版“语言”建模。作者还展示了 Multiway Transformers 可以有效地对不同的视觉和视觉语言任务进行建模，使其成为通用建模的有趣选择。BEIT-3简单有效，是扩大多模态基础模型的一个有前途的方向。...
多模态模型总结
weixin_48295340的博客
03-13 1943
多模态预训练模型总结
BEiT-3论文阅读笔记
qq_37662375的博客
09-01 3667
BEiT-3论文阅读笔记
2019： Unified Vision-Language Pre-training for Image Captioning and VQA
weixin_42653320的博客
06-16 881
本文提出一个统一的视觉-语言预训练模型，（1）可以用于视觉-语言生成或理解任务的微调；（2）使用一个共享的多层transformer网络编码和解码，与许多编码器和解码器使用单独的模型不同。统一的VLP模型在大量的图像-文本对上进行预训练，使用两个任务进行无监督学习：双向和序列到序列(seq2seq)掩码视觉-语言预测，这两个任务的不同之处仅仅在于预测条件的背景。这是利用共享transformer网络中的特定自注意力掩码来控制的。 视觉语言任务在传统上需要繁琐的特定于任务的特征设计和微调。最近一
Raki音乐应用Web服务开发：Spring与Hibernate实践
资源摘要信息:"本资源摘要将详细介绍关于Raki音乐应用程序的Web服务开发过程中的关键技术和知识点，包括使用的技术栈、安全机制以及开发中考虑的事项。 知识点一：Spring库在Web服务中的应用 Spring是一个开源的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值