Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models

本文是LLM系列文章，针对《Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models》的翻译。

摘要

对多模态大型语言模型（MLLMs）的兴趣日益增长，如OpenAI的GPT-4V（vision），已经对学术和工业领域产生了重大影响。这些模型增强了大型语言模型（LLM）的高级视觉理解能力，促进了它们在各种多模式任务中的应用。最近，谷歌推出了Gemini，这是一款专门为多模式集成设计的尖端MLLM。尽管Gemini取得了进步，但初步基准测试表明，Gemini在常识性推理任务中落后于GPT模型。然而，这种基于有限数据集（即HellaSWAG）的评估并没有完全捕捉到Gemini真正的常识推理潜力。为了解决这一差距，我们的研究对Gemini在复杂推理任务中的表现进行了全面评估，这些任务需要跨模态整合常识知识。我们对12个常识性推理数据集进行了全面分析，从一般任务到特定领域任务。这包括11个仅关注语言的数据集，以及一个包含多模态元素的数据集。我们在四个LLM和两个MLLMs上的实验展示了Gemini具有竞争力的常识推理能力。此外，我们还确定了当前LLM和MLLM在解决常识性问题方面面临的共同挑战，强调了在增强这些模型的常识性推理能力方面需要进一步增强。我们的数据和