LLaVA 1.5:Improved Baselines with Visual Instruction Tuning

发表时间:CVPR 2024

论文链接:https://openaccess.thecvf.com/content/CVPR2024/papers/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.pdf

作者单位:University of Wisconsin–Madison

主要思想大型多模态模型 (LMM) 最近在视觉指令调整方面显示出令人鼓舞的进展。在本文中,我们提出了第一个系统研究来研究 LLAVA 框架下受控设置下 LMM 的设计选择。我们表明,LLAVA 中的全连接视觉语言连接器非常强大和数据效率。

实现方式LLaVA 1.5和LLaVA在模型架构上基本一致,对LLM模型和跨模态连接器做了修改,但是模型效果逐渐开始炸裂。与LLaVA一样,Vison Token与Language Token指令在同一个特征空间,一起拼接(concantate)一起送进大模型。

LLM模型:LLM语言模型升级为Vicuna v1.5 13B,语言模型参数量更大,效果更好。

Connector:跨模态连接器(对应LLaVA中的线性层),由原来的单个线性层替换为MLP(多层线性层叠加)

Vision Encoder: 输入图像分辨率由224增大为336,使用CLIP ViT-L/336px,对图像细节理

### LLaVA 1.5 架构详解 LLaVA 1.5 是一种基于 Transformer 的多模态大模型,其核心架构继承自 LLaMA 系列,并针对多模态任务进行了扩展和优化。以下是关于 LLaVA 1.5 架构设计的具体解析: #### 1. 基础语言模型 LLaVA 1.5 使用了经过微调的 LLaMA 模型作为基础的语言生成模块。具体来说,在推理阶段,`model` 调用了 `LlavaLlamaForCausalLM` 中的 `forward` 方法来完成因果语言建模的任务[^1]。 #### 2. 多模态融合机制 为了处理图像和其他形式的输入数据,LLaVA 1.5 引入了一种高效的多模态融合策略。该策略通过将视觉特征嵌入到文本序列中实现跨模态交互。这种设计允许模型在同一框架下同时理解和生成文字与图像内容。 #### 3. 训练方法改进 相较于早期版本 (如 LLaVA 1.0),LLaVA 1.5 对训练过程做了多项调整以提高效率和效果: - **优化器更换**:由原来的 Adam 替换为 AdamW,这有助于更好地控制权重衰减并减少过拟合风险。 - **批量大小增加**:更大的 batch size 提升了每轮迭代中的样本多样性,从而促进泛化能力增强。 - **Epoch 数量调整**:第二阶段(Fine-tuning Stage 2)减少了 epochs 数目,而总训练时间却因上述改动延长近一倍。 这些变化表明开发团队注重平衡计算资源消耗与最终成果质量之间的关系[^3]。 #### 4. 新增特性 - 涌现能力 值得注意的是,除了技术层面的进步外,LLaVA 1.5 展现出了一些未曾预料到的新功能—即所谓的“涌现现象”。例如,即使某些特定类型的视觉素材并未直接参与训练流程,该模型仍能展现出对其的理解力;另外还具备出色的 OCR(光学字符识别)技能[^4]。 #### 5. 性能评估考量因素 尽管取得了显著成就,但在与其他竞争者比较时需谨慎考虑评价标准的选择问题。有观点指出当前所采用的部分基准测试可能偏向于那些已预先接触过相关领域知识库的产品,因此未必完全公平合理[^5]。 ```python from transformers import AutoTokenizer, LlavaLlamaForCausalLM tokenizer = AutoTokenizer.from_pretrained("path/to/model") model = LlavaLlamaForCausalLM.from_pretrained("path/to/model") input_text = "An example input with an image token <image>." inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ming_Chens

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值