LLaVA 1.5：Improved Baselines with Visual Instruction Tuning

已于 2024-08-06 20:10:01 修改
阅读量905 收藏 18
点赞数 22
CC 4.0 BY-SA版权
分类专栏： 多模态大模型 文章标签： 计算机视觉 人工智能
于 2024-08-05 10:33:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/s_m_c/article/details/140920574

发表时间：CVPR 2024

论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.pdf

作者单位：University of Wisconsin–Madison

主要思想：大型多模态模型 (LMM) 最近在视觉指令调整方面显示出令人鼓舞的进展。在本文中，我们提出了第一个系统研究来研究 LLAVA 框架下受控设置下 LMM 的设计选择。我们表明，LLAVA 中的全连接视觉语言连接器非常强大和数据效率。

实现方式：LLaVA 1.5和LLaVA在模型架构上基本一致，对LLM模型和跨模态连接器做了修改，但是模型效果逐渐开始炸裂。与LLaVA一样，Vison Token与Language Token指令在同一个特征空间，一起拼接（concantate）一起送进大模型。

LLM模型：LLM语言模型升级为Vicuna v1.5 13B，语言模型参数量更大，效果更好。

Connector：跨模态连接器（对应LLaVA中的线性层），由原来的单个线性层替换为MLP层（多层线性层叠加）

Vision Encoder: 输入图像分辨率由224增大为336，使用CLIP ViT-L/336px，对图像细节理

最低0.47元/天 解锁文章
VLM 系列——Llava——论文解读
TigerZ*的博客
01-28 1411
Llava 全称《Visual Instruction Tuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。 本文基于CLIP的视觉编码器，以及LLaMa语言解码器，构建了一个大规模的多模态模型（使用最简单的单层FC映射视觉特征到文本长度），并且将该模型在指令视觉-语言数据上进行了微调。
论文阅读：LLaVA1.5：Improved Baselines with Visual Instruction Tuning
微风❤水墨
09-25 209
它要求Qformer的视觉输出标记控制LLM的输出长度为长形式或短形式，如前缀调优，但由于Qformer相对于LLaMA等LLM的有限容量，可能缺乏适当执行此操作的能力。受到在自监督学习中从线性投影改为MLP（多层感知机）所带来的性能提升的启发，作者也通过使用两层MLP来增强视觉-语言连接器的表示能力，可以提升LLaVA的多模态能力。使用最简单的 LMM 架构，使用开源可数据，仅在600K图像-文本对上训练一个简单的全连接投影层，训练过程在 8 个 A100 上耗时约 1 天即可完成训练。
Improved Baselines with Visual Instruction Tuning——通过视觉指令调优改进基线
Together_CZ的博客
12-08 2185
Improved Baselines with Visual Instruction Tuning——通过视觉指令调优改进基线
llava1.5论文阅读
谁怕平生太急
10-11 1080
通过视觉指令微调增强的基线方法论文摘要： 我们发现，LLaVA中的全连接视觉语言连接器非常强大且数据效率高。
LLaVA论文（Visual Instruction Tuning）阅读笔记
qq_58400270的博客
12-18 6469
背景：使用机器生成的指令跟随数据（machine-generated instruction-following data）对大语言模型（LLM）进行指令调整可以增强它的零样本能力。本文旨在将这种思想扩展到多模态领域。本文的贡献：展示了第一个基于生成多模态指令跟随数据集。模型。LLaVA模型通过连接视觉编码器和语言模型，实现了通用的视觉和语言理解能力。LLaVA具有不错的多模态对话能力，在未见过的图像和指令上有时达到多模态GPT-4的水准（85.1%的相对得分）。
多模态论文精读1——LLaVA
DUTBenjamin的博客
03-04 1155
人类通过多种感官（如视觉和语言）与世界互动，每种感官在表示和传达某些概念时具有独特的优势。人工智能的核心目标之一是开发一个能够有效遵循多模态视觉和语言指令的通用助手，以完成各种现实世界任务。现有的多模态模型通常针对特定任务进行训练，缺乏通用性，且多模态指令跟随数据的缺乏限制了模型的泛化能力。
【大语言视觉助手+LLaVA1.5】23.10.LLaVA-1.5改善后视觉语言大模型: Improved Baselines with Visual Instruction Tuning
进一寸有一寸的欢喜
03-21 3499
23.10 LLaVA1.5的改进： 1. 结构上，将视觉特征提取器从 CLIP-vit-L-14 (224x224图像输入)改为了CLIP-vit-L/336(将真实图像resize到**336x336**再输入编码器) 2. 结构上，视觉特征从线性映射（单个神经元），改进为多层告感知机（MLP） 3. 数据上，大量提高数据量，特别是视觉微调 158K到了560K。。 4. 训练上，LLaVA1.5可以使用Lora微调
Improved Baselines with Visual Instruction Tuning
读书郎
08-26 1091
大型多模态模型 (LMM) 最近在视觉指令调整方面显示出令人鼓舞的进展。在本文中，我们提出了第一个系统研究来研究 LLAVA 框架下受控设置下 LMM 的设计选择。我们表明，LLAVA 中的全连接视觉语言连接器非常强大和数据效率。通过对LLAVA进行简单的修改，即使用带有MLP投影的CLIP-ViT-L-336px和添加具有响应格式提示的面向学术任务的VQA数据，我们建立了更强的基线，可以在11个基准测试中实现最先进的性能。
多模态大模型升级：LLaVA→LLaVA-1.5，MiniGPT4→MiniGPT5
pku_langzi的博客
10-15 2016
LLaVA, MiniGPT4的改进版本：LLaVA-1.5, MiniGPT5。
VLM 系列——Llava1.5——论文解读
TigerZ*的博客
01-28 1168
Llava1.5 ，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码，潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。本文基于CLIP的视觉编码器，以及LLaMa语言解码器，使用最简单的两层FC构成MLP（llava是一层）映射视觉特征到文本长度，构建了一个大规模的多模态模型，并且将该模型在指令视觉-语言数据上进行了微调（数据集更丰富），并且通过增加特定指令来解决简单回答指令的跟随性。
多模态论文阅读-LLaVA
幸运的小菜鸟的博客
02-29 1988
使用机器生成的instruction-following data 对大型语言模型(LLMs)进行指令调优已被证明可以提高新任务的zero-shot能力，但该想法在多模态领域的探索较少。我们首次尝试使用languguage-only GPT-4来生成multimodal language-image instruction-following data。
LLAVA论文简记
m0_60388871的博客
11-29 765
近年来，随着，传统的视觉模型在处理这些任务时通常将语言视作对图像内容的简单描述，而。因此，本文提出通过。
多模态大模型综述: LLaVA, MiniGPT4
pku_langzi的博客
06-17 6515
题目: Visual Instruction Tuning机构：微软论文:任务: 视觉指令微调（具备对话，推理的能力，rather than 图像描述）特点: 利用GPT4做数据生成，以及评测，视觉projection不想BLIP2一样是Q-Former，而是一个简单的映射层方法: LLM选择LLaMA，然后做视觉指令微调前置相关工作：GPT4, LLaMA, BLIP2, OpenFlamingo同期相似性工作：InstructBLIP。
LLaVA（一）LLaVA 论文解
u013250861的博客
12-11 185
argeanguagendisionssistant) 是论文《》提出的端到端训练的多模态模型。作者使用 GPT-4 生成的指令跟随数据微调 LLaVA 可以达到比较惊艳的效果。
LLaVA（NeurIPS 2023, Oral）-图文聊天模型论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
12-27 2223
LLaVA，NeurIPS 2023，微软研究院出品，展示一种创建语言-图像指令跟随数据集流程，基于此训练LLaVA，在ScienceQA数据集经过finetune后达到SOTA。
【多模态大模型paper阅读笔记-5】LLaVA：Visual Instruction Tuning，5千字精读，最适合入门多模态大模型的工作
Mugi_jiang的博客
07-24 1739
LLaVA（视觉指令微调）论文精读
（2024|CVPR，LLaVA-1.5，LLaVA-1.5-HD，CLIP-ViT-L-336px，MLP 投影，高分辨率输入，组合能力，模型幻觉）通过视觉指令微调改进基线
qq_44681809的博客
01-08 1002
本文通过对LLaVA进行简单修改，即使用CLIP-ViT-L-336px和MLP投影，并添加面向学术任务的VQA数据及响应格式提示，建立了更强的基线模型。本文探索LMM中的开放性问题：扩展到更高分辨率的输入、组合能力以及模型幻觉等
每日论文推荐：LLaVA-Gemma基于Gemma的多模态基础模型
林夕
04-22 761
📌 元数据概览： 标题：“LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model” 作者：Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal；来自Intel Labs的Cognitive AI团队。 链接：arXiv:2404.01331 https://arxiv.org/pdf/2404
论文分享|NeurIPS2023|LLaVA-视觉指令微调
weixin_45783724的博客
07-11 1717
视觉语言经典大模型LLaVA追根溯源
llava1.5架构
最新发布
03-19
### LLaVA 1.5 架构详解 LLaVA 1.5 是一种基于 Transformer 的多模态大模型，其核心架构继承自 LLaMA 系列，并针对多模态任务进行了扩展和优化。以下是关于 LLaVA 1.5 架构设计的具体解析： #### 1. 基础语言模型 LLaVA 1.5 使用了经过微调的 LLaMA 模型作为基础的语言生成模块。具体来说，在推理阶段，`model` 调用了 `LlavaLlamaForCausalLM` 中的 `forward` 方法来完成因果语言建模的任务[^1]。 #### 2. 多模态融合机制 为了处理图像和其他形式的输入数据，LLaVA 1.5 引入了一种高效的多模态融合策略。该策略通过将视觉特征嵌入到文本序列中实现跨模态交互。这种设计允许模型在同一框架下同时理解和生成文字与图像内容。 #### 3. 训练方法改进 相较于早期版本 (如 LLaVA 1.0)，LLaVA 1.5 对训练过程做了多项调整以提高效率和效果： - **优化器更换**：由原来的 Adam 替换为 AdamW，这有助于更好地控制权重衰减并减少过拟合风险。 - **批量大小增加**：更大的 batch size 提升了每轮迭代中的样本多样性，从而促进泛化能力增强。 - **Epoch 数量调整**：第二阶段（Fine-tuning Stage 2）减少了 epochs 数目，而总训练时间却因上述改动延长近一倍。 这些变化表明开发团队注重平衡计算资源消耗与最终成果质量之间的关系[^3]。 #### 4. 新增特性 - 涌现能力 值得注意的是，除了技术层面的进步外，LLaVA 1.5 展现出了一些未曾预料到的新功能—即所谓的“涌现现象”。例如，即使某些特定类型的视觉素材并未直接参与训练流程，该模型仍能展现出对其的理解力；另外还具备出色的 OCR(光学字符识别)技能[^4]。 #### 5. 性能评估考量因素 尽管取得了显著成就，但在与其他竞争者比较时需谨慎考虑评价标准的选择问题。有观点指出当前所采用的部分基准测试可能偏向于那些已预先接触过相关领域知识库的产品，因此未必完全公平合理[^5]。 ```python from transformers import AutoTokenizer, LlavaLlamaForCausalLM tokenizer = AutoTokenizer.from_pretrained("path/to/model") model = LlavaLlamaForCausalLM.from_pretrained("path/to/model") input_text = "An example input with an image token <image>." inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ming_Chs

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值