发表时间:CVPR 2024
论文链接:https://openaccess.thecvf.com/content/CVPR2024/papers/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.pdf
作者单位:University of Wisconsin–Madison
主要思想:大型多模态模型 (LMM) 最近在视觉指令调整方面显示出令人鼓舞的进展。在本文中,我们提出了第一个系统研究来研究 LLAVA 框架下受控设置下 LMM 的设计选择。我们表明,LLAVA 中的全连接视觉语言连接器非常强大和数据效率。
实现方式:LLaVA 1.5和LLaVA在模型架构上基本一致,对LLM模型和跨模态连接器做了修改,但是模型效果逐渐开始炸裂。与LLaVA一样,Vison Token与Language Token指令在同一个特征空间,一起拼接(concantate)一起送进大模型。
LLM模型:LLM语言模型升级为Vicuna v1.5 13B,语言模型参数量更大,效果更好。
Connector:跨模态连接器(对应LLaVA中的线性层),由原来的单个线性层替换为MLP层(多层线性层叠加)
Vision Encoder: 输入图像分辨率由224增大为336,使用CLIP ViT-L/336px,对图像细节理