Are Multimodal Large Language Models Pragmatically Competent Listeners in Simple Reference

论文主要内容总结

本文聚焦于多模态大语言模型（MLLMs）在指称消解任务中的语用能力研究，通过简单但抽象的视觉刺激（如颜色块和颜色网格）开展实验。具体内容如下：

1. 研究目的

考察LLaVA-NeXT、Qwen2-VL和JanusPro等MLLMs在“导演-匹配者”式参考游戏中，对颜色和空间布局的语境化语用推理能力，验证其是否能像人类一样根据视觉上下文解析指称表达。

2. 实验方法

• 模型：测试三种MLLMs的不同参数规模（如Qwen2-VL 72B、LLaVA-NeXT 72B等）。
• 数据：使用两组人类参考游戏数据集——颜色块（948场游戏）和颜色网格（197场游戏），刺激按视觉复杂度（远、近、分裂）分类。
• 流程：将视觉刺激与人类对话文本结合生成提示，要求模型定位目标指称，通过准确率评估表现。

3. 主要结果

• 颜色块任务：大模型（如Qwen2-VL 72B）准确率接近人类（90%），但小模型（如Janus 1B）仅略高于随机水平；视觉复杂度“近”条件下模型表现显著下降。
• 颜色网格任务：所有模型表现均不佳，最佳模型（Qwen2-VL 72B）准