LLaVA 1.5：Improved Baselines with Visual Instruction Tuning

原创 已于 2024-08-06 20:10:01 修改 · 1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能

于 2024-08-05 10:33:56 首次发布

发表时间：CVPR 2024

论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.pdf

作者单位：University of Wisconsin–Madison

主要思想：大型多模态模型 (LMM) 最近在视觉指令调整方面显示出令人鼓舞的进展。在本文中，我们提出了第一个系统研究来研究 LLAVA 框架下受控设置下 LMM 的设计选择。我们表明，LLAVA 中的全连接视觉语言连接器非常强大和数据效率。

实现方式：LLaVA 1.5和LLaVA在模型架构上基本一致，对LLM模型和跨模态连接器做了修改，但是模型效果逐渐开始炸裂。与LLaVA一样，Vison Token与Language Token指令在同一个特征空间，一起拼接（concantate）一起送进大模型。

LLM模型：LLM语言模型升级为Vicuna v1.5 13B，语言模型参数量更大，效果更好。

Connector：跨模态连接器（对应LLaVA中的线性层），由原来的单个线性层替换为MLP层（多层线性层叠加）

Vision Encoder: 输入图像分辨率由224增大为336，使用CLIP ViT-L/336px，对图像细节理解能力更强更高质量的数据：真所谓 Data is All you need!

通过对LLaVA进行两个简单的改进，即MLP 跨模态连接器 和 添加面向学术任务VQA数据集的简单响应格式的提示词（如Answer the question using a single wo

最低0.47元/天 解锁文章
VLM 系列——Llava——论文解读
TigerZ*的博客
01-28 1600
Llava 全称《Visual Instruction Tuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。 本文基于CLIP的视觉编码器，以及LLaMa语言解码器，构建了一个大规模的多模态模型（使用最简单的单层FC映射视觉特征到文本长度），并且将该模型在指令视觉-语言数据上进行了微调。
论文阅读：LLaVA1.5：Improved Baselines with Visual Instruction Tuning
微风❤水墨
09-25 257
它要求Qformer的视觉输出标记控制LLM的输出长度为长形式或短形式，如前缀调优，但由于Qformer相对于LLaMA等LLM的有限容量，可能缺乏适当执行此操作的能力。受到在自监督学习中从线性投影改为MLP（多层感知机）所带来的性能提升的启发，作者也通过使用两层MLP来增强视觉-语言连接器的表示能力，可以提升LLaVA的多模态能力。使用最简单的 LMM 架构，使用开源可数据，仅在600K图像-文本对上训练一个简单的全连接投影层，训练过程在 8 个 A100 上耗时约 1 天即可完成训练。
llava1.5论文阅读
谁怕平生太急
10-11 1202
通过视觉指令微调增强的基线方法论文摘要： 我们发现，LLaVA中的全连接视觉语言连接器非常强大且数据效率高。
Improved Baselines with Visual Instruction Tuning——通过视觉指令调优改进基线
Together_CZ的博客
12-08 2289
Improved Baselines with Visual Instruction Tuning——通过视觉指令调优改进基线
【论文精读】LLaVA：视觉指令调优开启通用多模态助手新时代
最新发布
m0_65010824的博客
10-27 1249
摘要：本文是对论文《Visual Instruction Tuning》的深度解读。在多模态 AI 领域，大语言模型指令调优成果显著但多模态领域探索滞后，威斯康星大学麦迪逊分校等团队提出 LLaVA 模型，首用纯文本 GPT-4 生成图文指令数据，通过两阶段训练融合 CLIP 视觉编码器与 Vicuna 语言模型。其在多模态聊天、Science QA 任务表现优异，还构建 LLaVA-Bench 基准，开源相关资产，为通用多模态助手研发奠定了基础。
多模态论文精读1——LLaVA
DUTBenjamin的博客
03-04 1563
人类通过多种感官（如视觉和语言）与世界互动，每种感官在表示和传达某些概念时具有独特的优势。人工智能的核心目标之一是开发一个能够有效遵循多模态视觉和语言指令的通用助手，以完成各种现实世界任务。现有的多模态模型通常针对特定任务进行训练，缺乏通用性，且多模态指令跟随数据的缺乏限制了模型的泛化能力。
LLaVA论文（Visual Instruction Tuning）阅读笔记
qq_58400270的博客
12-18 7089
背景：使用机器生成的指令跟随数据（machine-generated instruction-following data）对大语言模型（LLM）进行指令调整可以增强它的零样本能力。本文旨在将这种思想扩展到多模态领域。本文的贡献：展示了第一个基于生成多模态指令跟随数据集。模型。LLaVA模型通过连接视觉编码器和语言模型，实现了通用的视觉和语言理解能力。LLaVA具有不错的多模态对话能力，在未见过的图像和指令上有时达到多模态GPT-4的水准（85.1%的相对得分）。
【文献阅读】（LLAVA-1.5）Improved Baselines with Visual Instruction Tuning
Toky_min的博客
06-05 889
大型多模态模型（LMM）最近通过视觉指令调优展现出令人鼓舞的进展。在本文中，我们首次在 LLaVA 框架下的可控环境中系统研究了 LMM 的设计选择。我们发现，LLaVA 中全连接的视觉 - 语言连接器出人意料地强大且数据高效。通过对 LLaVA 进行简单修改，即使用带有 MLP 投影的 CLIP-ViT-L-336px 视觉编码器，并添加带有响应格式提示的学术任务导向 VQA 数据，我们建立了更强的基线，在 11 个基准测试中均达到了最先进水平。我们最终的 130 亿参数检查点仅使用 120 万公开可用数
Improved Baselines with Visual Instruction Tuning
读书郎
08-26 1135
大型多模态模型 (LMM) 最近在视觉指令调整方面显示出令人鼓舞的进展。在本文中，我们提出了第一个系统研究来研究 LLAVA 框架下受控设置下 LMM 的设计选择。我们表明，LLAVA 中的全连接视觉语言连接器非常强大和数据效率。通过对LLAVA进行简单的修改，即使用带有MLP投影的CLIP-ViT-L-336px和添加具有响应格式提示的面向学术任务的VQA数据，我们建立了更强的基线，可以在11个基准测试中实现最先进的性能。
多模态大模型升级：LLaVA→LLaVA-1.5，MiniGPT4→MiniGPT5
pku_langzi的博客
10-15 2175
LLaVA, MiniGPT4的改进版本：LLaVA-1.5, MiniGPT5。
VLM 系列——Llava1.5——论文解读
TigerZ*的博客
01-28 1286
Llava1.5 ，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码，潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。本文基于CLIP的视觉编码器，以及LLaMa语言解码器，使用最简单的两层FC构成MLP（llava是一层）映射视觉特征到文本长度，构建了一个大规模的多模态模型，并且将该模型在指令视觉-语言数据上进行了微调（数据集更丰富），并且通过增加特定指令来解决简单回答指令的跟随性。
多模态论文阅读-LLaVA
幸运的小菜鸟的博客
02-29 2125
使用机器生成的instruction-following data 对大型语言模型(LLMs)进行指令调优已被证明可以提高新任务的zero-shot能力，但该想法在多模态领域的探索较少。我们首次尝试使用languguage-only GPT-4来生成multimodal language-image instruction-following data。
LLAVA论文简记
m0_60388871的博客
11-29 816
近年来，随着，传统的视觉模型在处理这些任务时通常将语言视作对图像内容的简单描述，而。因此，本文提出通过。
论文分享|NeurIPS2023|LLaVA-视觉指令微调
weixin_45783724的博客
07-11 1857
视觉语言经典大模型LLaVA追根溯源
多模态大模型综述: LLaVA, MiniGPT4
pku_langzi的博客
06-17 6748
题目: Visual Instruction Tuning机构：微软论文:任务: 视觉指令微调（具备对话，推理的能力，rather than 图像描述）特点: 利用GPT4做数据生成，以及评测，视觉projection不想BLIP2一样是Q-Former，而是一个简单的映射层方法: LLM选择LLaMA，然后做视觉指令微调前置相关工作：GPT4, LLaMA, BLIP2, OpenFlamingo同期相似性工作：InstructBLIP。
论文研读: LLaVA, 微调大模型以理解图像内容
disanda的专栏
04-17 1232
LLaVA是视觉大模型，涉及主流大模型微调方法，包括：通过超大参数模型（GPT-4）生成<微调数据>（这里是图文跨模态数据）两阶段微调大模型(原文为Vicuna-7B，即llama2，相比GPT-4约小10倍)第一阶段实现<视觉-语言特征对齐>第二阶段将<图像融合进上下文>两阶段微调对应不同的 <数据集> 及 <微调数据结构>微调《数据集》来自通用大模型 (比如ChatGPT的格式化输出)。微调《中小规模的参数模型》 3B / 7B / 35B 以适配下游任务。
论文阅读：LLaVA-OneVision: Easy Visual Task Transfer
a486259的博客
10-07 3622
LLaVA-OneVision是一个开放的大型多模态模型（LMMs），它是通过整合在LLaVA-NeXT博客系列中的数据、模型和可视化表示的见解而开发的。实验结果表明，LLaVA-OneVision是第一个能够在三个重要的计算机视觉场景：单图像、多图像和视频场景的单一模型。论文的核心是分享了一个OneVision的架构设计，以统一对单图、多图及视频任务的训练框架（token编码规则），将单图训练的能力迁移到多图与视频中。同时分享了一种动态分辨率设计规则，以提供更好的视觉表示（兼容图像视频）；最后介绍了训练数
LLaVA（NeurIPS 2023, Oral）-图文聊天模型论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
12-27 2445
LLaVA，NeurIPS 2023，微软研究院出品，展示一种创建语言-图像指令跟随数据集流程，基于此训练LLaVA，在ScienceQA数据集经过finetune后达到SOTA。
在本地部署llava1.5:7b和qwen2.5-7b两个模型的推理速度对比如何？因为我的项目有实时性要求，需要VLM模型对ros相机节点实时传输来的图像，选择哪个模型更合适呢？
05-29
好的，我现在需要回答用户关于比较LLaVA1.5:7B和Qwen2.5-7B模型在本地部署时的推理速度，并根据实时性要求选择适合处理ROS相机节点传输图像的模型的问题。首先，我得先理解用户的需求。用户想比较这两个模型的推理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KKdlg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值