Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models

主要内容

1. 多模态推理模型的发展阶段

   • 阶段1：感知驱动的模块化推理（2016-2020）
     早期模型依赖卷积神经网络（CNN）和循环神经网络（LSTM），通过模块化设计（如神经模块网络NMN、层次协同注意力HieCoAtt）处理多模态数据，推理隐含在表征、对齐和融合过程中。
   • 阶段2：以语言为中心的短推理（System-1，2021-2023）
     引入多模态思维链（MCoT），通过提示工程（如IPVR的“看-想-确认”框架）和结构化推理（如Multimodal-CoT的两阶段生成）增强可解释性，结合外部工具（如检索、数学求解器）扩展推理能力。
   • 阶段3：以语言为中心的长推理（System-2，2023至今）
     强调系统性推理和规划，通过跨模态推理链（如视觉-文本联合推理）、强化学习（如DeepSeek-R1的GRPO算法）和多模态O1/R1模型（如OpenAI O1、LLaVA-CoT）实现长程依赖和自适应决策。
   • 阶段4：原生多模态推理模型（未来展望）
     提出原生大型多模态推理模型（N-LMRMs），目标是通过统一表征空间（如VideoPoet的跨模态编码）和具身