多模态论文笔记——BLIP2

已于 2024-12-29 23:39:29 修改
阅读量2.2k 收藏 32
点赞数 26
分类专栏： 多模态论文笔记 文章标签： 深度学习 人工智能 blip blip2 多模态 AIGC
于 2024-12-01 11:43:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haopinglianlian/article/details/144167339
版权

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍多模态模型：BLIP2。

在这里插入图片描述

推荐阅读：
BLIP2-图像文本预训练论文解读
【多模态】BLIP-2模型技术学习

文章目录

回顾BLIP

论文：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation

BLIP 是旨在改进图像-文本联合学习的效率多模态模型，特别是通过

了解本专栏 订阅专栏 解锁全文 超级会员免费看
多模态论文笔记——BLIP
haopinglianlian的博客
01-09 2187
本文详细介绍这几年AIGC火爆的隐藏功臣，多模态模型：BLIP。
多模态论文笔记——LLaVA
haopinglianlian的博客
12-28 1864
本文详细介绍多模态模型：LLaVA。处理包含图像和文本的多模态数据，并生成合理准确的回答。
BLIP-2: 基于冻结图像编码器和大型语言模型的语言-图像预训练引导
OverlordDuke的博客
01-26 2534
BLIP-2是BLIP-2论文的官方实现，是一种通用且高效的预训练策略，可以轻松地利用预训练视觉模型和大型语言模型（LLMs）进行语言-图像预训练。BLIP-2在零-shot VQAv2上击败了Flamingo（65.0对56.3），在零-shot字幕生成上建立了新的技术水平（在NoCaps上的121.6 CIDEr分数，相对于之前的最佳113.2）。搭载强大的LLMs（如OPT、FlanT5），BLIP-2还为各种有趣的应用解锁了新的零-shot指导的视觉到语言生成能力！
万字长文解读深度学习——多模态模型BLIP2
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-29 2041
本文解读BLIP2论文，阐述BLIP2在BLIP基础上的改进。
从BLIP-2看视觉与语言的融合：构建多模态文本生成模型
最新发布
weixin_35696112的博客
04-14 288
本文探讨了如何通过BLIP-2模型，将视觉和语言能力结合起来，创建多模态文本生成模型。BLIP-2通过连接预训练的图像编码器和大型语言模型（LLM），使得LLM能够理解和生成基于视觉输入的信息。文章详细介绍了BLIP-2的架构、训练过程和应用场景，展现了多模态学习在提高模型理解和生成能力方面的潜力。
BLIP-2
whaosoft143ai的博客
03-31 1258
下一代多模态模型的雏形最近ChatGPT风头正劲，但只能理解文字或多或少限制其才华的发挥。得益于Transformer在NLP和CV领域的大放异彩，多模态近几年取得了非常大的进步。但之前的工作大多数局限在几个特定的，比如VQA，ITR，VG等任务上，限制了其应用。最近，Junnan Li大佬挂出了他最新的杰作BLIP2。让我对多模态模型有了一些新的认识，希望通过本文分享一下我的想法。 whaosoft aiot http://143ai.com
BLIP-2：下一代多模态模型的雏形
热门推荐
阿木寺的博客
02-17 1万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态学习】微信技术交流群作者：竹鼠商人 | （源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/606364639最近ChatGPT风头正劲，但只能理解文字或多或少限制其才华的发挥。得益于Transformer在NLP和CV领域的大放异彩，多模态近几年取得了非常大的进步。但之...
BLIP和BLIP2
pan的博客
06-10 5105
文章主要是对BLIP2 （使用冻结图像编码器和大型语言模型的Bootstrapping语言图像预训练）论文的阅读笔记，也对BLIP（用于统一视觉语言理解和生成的Bootstrapping语言图像预训练）算法进行了简单的介绍。
多模态论文笔记——Coca
haopinglianlian的博客
01-02 1304
本文详细介绍多模态模型Coca，在DALL·E 3中使用其作为captioner基准模型的原因和优势。
多模态论文笔记——VQ-VAE和VQ-VAE-2
haopinglianlian的博客
12-21 2413
本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。
【多模态大模型】BLIP-2：低计算视觉-语言预训练大模型
Debroon
02-04 2211
子问题: 如何提取并学习图像的特征表示，使之能够与文本有效结合，而不需要重新训练图像编码器？子解法使用Q-Former进行视觉语言表示学习。Q-Former通过与冻结的图像编码器的交互来提取视觉特征，并通过自注意力和交叉注意力层来学习这些视觉特征与相关文本之间的对应关系。之所以使用此解法，是因为冻结的图像编码器具有高质量的视觉表示，而Q-Former可以在不改变这些预训练模型的前提下，学习这些特征与文本之间的关联。
BLIP-2：冻结现有视觉模型和大语言模型的预训练模型
m0_51976564的博客
11-20 6138
BLIP-2：冻结现有视觉模型和大语言模型的预训练模型 Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models
BLIP2
icylling的专栏
08-08 1231
BLIP2的任务是基于已有的固定参数的图像encoder和语言大模型（LLM）搭建一个具有图像理解能力的图文模型，输入是图像和文本，输出是文本。
音视频开发之旅(94)-多模态之Blip-2
yabin的专栏
09-17 1678
如果基于LLM进行finetune微调，直接将单模态的模型加入到多模态的联合训练 可能会出现灾难性遗忘的问题。将图像Transformer输出的Query representation（图像查询表征）Z 与 文本Transformer的文本表征 T 进行对齐，其中T是[CLS]的输出向量，由于Z包含多个输出向量（每个Query一个共有，Q-Former网络中有个32个Query，每个的维度768维），首先计算每个Query输出与t之间的相似度，然后选择最高的一个做为图像文本相似度。
多模态大模型（3）--BLIP-2
burstone的专栏
11-19 1347
大模型如火如荼，研究者们已经不再满足于基本文本的大语言模型（LLM, Large Language Model），AI领域的热点正逐步向多模态转移，具备多模态能力的多模态大型语言模型（MM（Multi-Modal）-LLM）就成了一个备受关注的研究主题。
BLIP系列粗暴解读 —— BLIP2
weixin_45932862的博客
11-28 851
BLIP系列是salesforce在多模态领域做的工作，个人觉得其设计思路较为精巧，稍作记录。本篇为BLIP系列的第一篇，记录的是这个系列的改进模型BLIP2.
BLIP2 技术原理详解：多模态任务的创新解决方案
秋声工作室
12-24 1484
BLIP2 模型主要由三个关键组件构成：冻结的图像编码器、轻量级的 Querying Transformer（Q-Former）和大型语言模型（LLM）。冻结的图像编码器：负责从输入图像中提取丰富的视觉特征，为后续处理提供坚实的基础。Q-Former：在视觉与语言模态之间架起桥梁，通过特定的结构设计和训练方法，实现视觉特征与文本信息的有效交互与转换。大型语言模型（LLM）：作为语言生成的核心模块，利用其强大的语言理解和生成能力，将处理后的视觉信息转化为自然语言描述或回答。
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Mode
kebijuelun的博客
03-11 1708
BLIP-2通过一个轻量级的 Querying Transformer （Q-Former是一个轻量级的 transformer，它使用一组可学习的查询向量来从冻结图像编码器中提取视觉特征，为LLM提供最有用的视觉特征，以输出所需的文本） 弥补了模态 gap，该 Transformer 分两个阶段进行预训练。本文提出了BLIP-2，这是一种通用而有效的预训练策略，它从现成的冻结预训练图像编码器和冻结的大型语言模型中引导视觉语言预训练。finetune 后精度明显提升，达到 SOTA 结果。
多模态八股 CLIP BLIP BLIP-2
03-12
### 关于多模态模型 CLIP、BLIP 及 BLIP-2 的介绍与比较 #### CLIP 模型概述 CLIP（Contrastive Language–Image Pre-training）是一种开创性的多模态模型，能够将图像和文本映射到同一嵌入空间中。该模型通过大规模无监督的方式训练，在大量互联网图片及其对应的标题上进行对比学习。这种设计使得CLIP能够在多种下游任务中表现出色，而无需针对特定任务重新训练。 #### BLIP 模型特点 BLIP（Bootstraping Language-Image Pretraining with Frozen Image Encoders and Large-Scale Web Data）进一步推进了这一领域的发展。它引入了一个冻结的视觉编码器以及一个强大的解码器结构用于处理语言部分。具体来说： - **CapFilt机制**：利用两种不同的方式——基于检索的任务和生成式的描述任务来增强模型的能力[^3]。 - **联合训练目标**：包括但不限于图像文本的对比学习、图像文本匹配以及图像条件下的语言建模等三个方面[^4]。 这些特性使BLIP不仅能在零样本设置下完成复杂的跨模态推理工作，而且还能有效地适应各种实际应用场景中的需求变化。 #### BLIP-2 架构改进 作为BLIP系列的新成员，BLIP-2继承并优化了许多前代版本的优点。其主要贡献在于提出了InstructBLIP框架，这是一个专门为指令跟随场景定制化的解决方案。相比于原始版，BLIP-2做了如下调整： - 更加注重交互性和可控性； - 提升了对于复杂命令的理解能力； - 改进了生成质量，特别是在遵循指示方面表现尤为突出[^1]。 此外，BLIP-2还特别强调了如何更好地支持开放域问答、对话系统以及其他涉及自然语言理解和生成的应用程序开发。 综上所述，虽然这三个模型都属于多模态研究范畴内的成果，但是各自侧重点有所不同。CLIP侧重于构建通用表征；BLIP则致力于提高泛化能力和应用灵活性；至于最新的BLIP-2，则是在此基础上增加了更多面向用户的特性和功能。 ```python # 示例代码展示不同模型加载方法 import clip from blip import BlipModel from blip2 import Blip2Model model_clip, preprocess = clip.load("ViT-B/32") # 加载CLIP模型 blip_model = BlipModel(pretrained=True) # 初始化BLIP实例 blip2_model = Blip2Model(pretrained="instruct") # 使用预定义配置创建BLIP-2对象 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值