o1的风又吹到多模态，直接吹翻了GPT-4o-mini

开源LLaVA-o1：一个设计用于进行自主多阶段推理的新型VLM。与思维链提示不同，LLaVA-o1独立地参与到总结、视觉解释、逻辑推理和结论生成的顺序阶段。

LLaVA-o1超过了一些更大甚至是闭源模型的性能，例如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。

基础模型与LLaVA-o1的比较。基础模型Llama-3.2-11B-Vision-Instruct在推理过程中有明显的缺陷，整个推理过程中出现了几个错误。相比之下，LLaVA-o1首先概述问题，从图像中解释相关信息，然后进行逐步推理过程，并最终得出一个有充分支持的结论。

LLaVA