InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

InstructBLIP模型解析
原创 已于 2024-08-06 20:10:20 修改 · 1.1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #深度学习 #人工智能

于 2024-08-05 10:31:31 首次发布

发表时间：15 Jun 2023

论文链接：https://arxiv.org/pdf/2305.06500

作者单位：Salesforce Research

Motivation：大规模预训练和指令调整已经成功地创建了具有广泛能力的通用语言模型。然而，由于额外的视觉输入导致的丰富输入分布和任务多样性，构建通用视觉语言模型具有挑战性。

解决方法：为了确保指令微调数据的多样性，作者收集了来自11种不同任务的26个数据集，并将它们转换为指令调优格式。

实现方式：模型结构基本与BLIP2一致，Q-Former和LLM的输入多了Instruction（instructBLIP将Q-former中的Image Caption换为了Instruction使得Q-former可以感知到指令的信息）。

Architecture. 使用了和BLIP-2 相同的图像编码(VIT-g/14)，但是不同的LLMs, 使用了FlanT5- XL (3B), FlanT5-XXL (11B), Vicuna-7B and Vicuna-13B.

训练过程：

  • 先冻结

最低0.47元/天 解锁文章
VLM 系列——Instruct BLIP——论文解读
TigerZ*的博客
01-22 892
本文主要介绍Instruct BLIP,是一个多模态视觉-文本大语言模型，隶属BLIP系列第三篇，可以完成：图像描述、视觉问答、名画名人等识别（问答、描述）。支持单幅图片输入（作为第一个输入），多轮文本对话。（不支持图文交错输入、写代码、视觉定位、JSON mode等。）构造一个指令数据集，整体架构沿用BLIP2，在Q-former中多加入了文本prompt token来和图片进行交互。只训练q-former，在多个数据集上的zero-shot获得sota.
InstructBLP是什么
weixin_67075116的博客
10-21 1354
InstructBLIP 通过引入指令调优机制，使得视觉特征的提取能够根据任务需求进行调整，大大提升了模型在多模态任务上的表现。它不仅在图像描述生成、视觉问答等任务中表现出色，还展示了强大的零样本学习能力，能够在没有微调的情况下处理多种任务。InstructBLIP 是将视觉-语言模型推向通用型人工智能的一大步，尤其在处理需要精确上下文理解的复杂任务时具有显著优势。
论文笔记--InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
weixin_38124427的博客
12-07 1697
InstructBLIP-基于指令微调的BLIP系列多模态模型
[阅读笔记10][instructBLIP]Towards General-purpose Vision-Language Models with Instruction Tuning
Cloth的博客
04-15 559
具体而言，像OKVQA这种开放式文本生成的数据集，提升采样概率，对于A-OKVQA这种以选择题为主的数据集降低采样概率。这里的实验类似谷歌FLAN中的实验，以BLIP2为基础，测试了BLIP2+多任务学习和BLIP2+指令微调的结果，显然指令微调的zero-shot效果要更好。instructBLIP这篇论文也是ALBEF，BLIP，BLIP2团队的工作，之前几篇的一作变成通讯和共一了，于23年9月发表。一共使用了26个公开数据集，涉及11项任务，其中标黄色的为微调数据集，其余为测试数据集。
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning【翻译】
HYD1396395176的博客
05-24 914
在预训练和指令调优管道的驱动下，出现了可以解决各种语言领域任务的通用语言模型。然而，由于额外的视觉输入会增加任务差异，因此构建通用视觉语言模型具有挑战性。尽管视觉语言预训练已得到广泛研究，但视觉语言指令调优的探索相对较少。在本文中，我们基于预训练的 BLIP-2 模型对视觉语言指令调优进行了系统全面的研究。我们收集了各种 26 个公开可用的数据集，将它们转换为指令调优格式，并将它们分为两个集群，用于保持指令调优和保持零样本评估。
《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》速读
m0_60388871的博客
03-03 881
由于不同数据集的规模差异巨大（从几千到几十万样本不等），简单均匀混合会导致模型对小数据集过拟合、对大数据集欠拟合。多任务学习（multitask learning）**在视觉-语言任务中的效果，证明指令调整是提升零样本泛化能力的关键。，覆盖11种任务类别，并将其转化为统一的指令调整格式。这是迄今为止视觉-语言指令调整研究中使用的最广泛的数据集集合。，通过将文本指令同时输入到Q-Former中，使其能够根据具体指令动态调整提取的视觉特征。传统的视觉-语言模型（如BLIP-2）在提取视觉特征时采用的是。
NeurIPS 2023 | InstructBLIP：指令微调训练通用视觉-语言模型
阿木寺的博客
10-04 1654
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态和Transformer】交流群在CVer微信公众号后台回复：InstructBLIP，可以下载本论文pdf和代码，学起来！转载自：极市平台 | 作者：科技猛兽导读研究如何在视觉语言任务上进行指令微调，使得训练出的模型可以解决一系列的视觉任务。本文目录1 InstructBLIP: 指令微调训练通用...
InstructBLIP
whaosoft143ai的博客
07-02 2496
InstructBLIP 一共微调 60K steps，3B, 7B, 11/13B 模型的 Batch Size 分别是 192，128，64，优化器使用 AdamW，weight decay 设为 0.05，在前 1000 steps 使用线性的学习率 warm-up，从 10^{-8}10^{-8} 到 10^{-5}10^{-5} ，随后余弦衰减到0，使用 16 A100 GPU 训练 1.5 天。2) 固定 LLM 的参数，训练 Q-Former 的参数，训练目标是文本生成。完成很多多模态任务。
多模态：InstructBLIP
Hanze的博客
05-14 2245
由于作者混合多个数据集，每个数据集的大小不同，如果采用均匀采样，可能会造成大数据集underfitting，小数据集overfitting。以前的方法大多要依靠LLM的生成能力，LLM在微调text- only instruction比微调Vision- language 的表现要更让人满意。作者表示，与nlp任务不同，多模态任务由于引入额外的视觉输入，它的任务更加多样化，这似的联合多个模型是一个有挑战性的工作。联合上面的数据集，为不同的任务设置了不同的prompt template。
【BLIP/BLIP2/InstructBLIP】一篇文章快速了解BLIP系列（附代码讲解说明）
热门推荐
零碎@流年絮语 的博客
10-01 1万+
这样的好处在于对于同一张图片，根据不同的instruction，我们可以得到基于instruction偏好更强的视觉特征，同时对于两个不一样的图片，基于instruction内嵌的通用知识，可以使得模型有更好的知识迁移效果。Q-Former的文本输入，保证了Query提取到的特征更加的精炼。使用BLIP-2模型w/ViT-g和FlanT5XXL的指示零样本图像到文本生成的精选示例，其中显示了广泛的功能，包括视觉对话、视觉知识推理、视觉共感推理、故事讲述、个性化图像到文本的生成等。其他与BLIP2基本一样。
多模态大模型（4）--InstructBLIP
burstone的专栏
11-21 1483
最新的大模型、AIGC、自动对话等系列技术介绍，持续更新中。
论文阅读：Instruct BLIP (2023.5)
qq_34603425的博客
07-20 1140
摘要： InstructBLIP提出了一种基于指令微调的通用视觉-语言模型框架，通过改造26个多模态数据集为指令格式，构建覆盖11类任务的训练体系。其核心创新包括指令感知的视觉特征提取（通过Q-Former融合文本指令）和平衡采样策略，在仅微调1.88亿参数条件下，实现零样本性能显著提升：FlanT5-XL版本相对BLIP-2平均提升15%，4B模型超越80B参数Flamingo 24.8%，并在视频问答等未训练任务上实现47.1%的突破。实验表明该方法同时支持高效下游微调（如ScienceQA达90.7%
哪个视觉语言模型更优？InstructBLIP、MiniGPT-4？全面评估基准LVLM-eHub告诉你
夕小瑶科技说
09-01 1517
LLaMA、GPT-3等大型语言模型实现了对自然语言强大的理解和推理能力，为AI社区构筑了强大的语言基座模型。进而，继续迭代的GPT-4，更是赋予了模型处理图像的视觉能力。如今，构建强大的多模态模型已经成为了社区的共识，BLIP2、LLaVA、MiniGPT-4、mPLUG-Owl、InstructBLIP等大量的视觉语言模型（Vision-Language Models，LVLMs）犹如井喷式被相继提出。
【大模型系列】统一图文理解与生成(BLIP/BLIPv2/InstructBLIP)
kabuto_hui的博客
03-16 4908
问题一：目前VLP（Vision-Language Pre-training）数据大多来自于网络爬取，如CLIP。其中的caption包含很多噪声，不是一个理想的监督来源；问题二：在以往的VLP框架中，仅在理解任务或者生成任务方面表现出色，很少有可以兼顾的模型。针对问题一：提出一种bootstrapping caption的方案来“提纯”带噪声的网络爬取数据，从而提升多模态模型的能力；针对问题二：提出一种新的VLP框架BLIP统一视觉语言理解和生成任务，比现有的方法更适应广泛的下游任务；
多模态大语言模型（MLLM）-InstructBlip深度解读
Jamence的博客
10-09 1691
从数据集收集、数据配比、模型优化等角度，深度解读InstructBlip论文
技术前沿 |【大模型InstructBLIP进行指令微调】
尺小闹的博客
06-10 1664
InstructBLIP是基于BLIP-2模型进行指令微调训练得到的视觉语言模型。它结合了自然语言处理（NLP）和计算机视觉（CV）的技术，旨在处理和理解图像与文本之间的关联。InstructBLIP通过引入指令微调（Instruction Tuning）技术，使得模型能够理解和遵循自然语言指令，从而在处理多模态任务时更加灵活和准确。
超越GPT-4！爆火InstructBLIP抢跑看图聊天，开源项目横扫多项SOTA
Paper weekly
05-16 752
©作者 |桃子 拉燕来源|新智元碾压 GPT-4 识图能力的多模态生成模型来了。华人团队最新提出的 InstructBLIP 在多项任务上实现 SOTA。GPT-4看图聊天还没上线，就已经被超越了。近来，华人团队开源了多模态基础模型InstructBLIP，是从BLIP2模型微调而来的模型。BLIP家族中增加了一个新成员：InstructBLIP据介绍，InstructBLIP模型更擅长「看...
图文对比学习的发展史：从CLIP、BLIP、BLIP2、InstructBLIP到具身模型常用的SigLIP
最新发布
结构之法 算法之道
08-22 4041
本文介绍了AI图像生成领域的重要发展历程，从CLIP、BLIP到InstructBLIP等模型。CLIP通过对比学习实现文本-图像对齐，BLIP结合编码器-解码器统一理解和生成任务，BLIP2引入Q-Former桥接视觉和语言模型，InstructBLIP则对Q-Former进行指令微调增强任务适应性。这些模型采用预训练-微调范式，通过大规模数据训练实现强大的跨模态能力，推动了AI绘画技术的发展。
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning复现
02-26
### 如何复现 InstructBLIP 通用视觉-语言模型及其指令微调方法 #### 准备工作环境 为了成功复现 InstructBLIP 模型，首先需要准备适当的工作环境。这通常涉及安装必要的软件包和依赖项。建议使用 Python 和 PyTorch 来构建此项目。 ```bash conda create -n instructblip python=3.8 conda activate instructblip pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 获取数据集 InstructBLIP 的训练依赖于大规模的数据集来学习丰富的特征表示。这些数据集应包含配对的图像和文本描述。常用的数据集包括 COCO Captions, Visual Genome 等[^2]。 #### 下载预训练模型权重 由于从头开始训练这样的大型模型非常耗时且计算资源密集，因此推荐下载官方发布的预训练模型权重作为起点。可以从 GitHub 或其他公开平台获取最新的预训练版本。 #### 实施指令微调流程 按照论文中的指导，在已有的基础之上实施特定任务导向的指令微调过程。具体来说： - **定义目标任务**：明确希望模型执行的任务类型，比如生成图片说明、问答等。 - **调整输入格式**：确保输入遵循预期结构，即每条记录由一对或多张图像以及相应的自然语言命令组成。 - **修改损失函数**：根据所选任务定制化设计适合的优化目标。 ```python from transformers import BlipForConditionalGeneration, BlipProcessor processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base") model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base") def fine_tune_model(training_data): optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(num_epochs): model.train() for batch in training_data: inputs = processor(images=batch['image'], text=batch['instruction'], return_tensors="pt", padding=True) outputs = model(**inputs) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() fine_tune_model(prepared_dataset) ``` 通过上述步骤可以有效地实现 InstructBLIP 模型的本地部署与进一步开发应用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KKdlg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值