Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models

主要内容

1. 多模态推理模型的发展阶段

   • 阶段1：感知驱动的模块化推理（2016-2020）
     早期模型依赖卷积神经网络（CNN）和循环神经网络（LSTM），通过模块化设计（如神经模块网络NMN、层次协同注意力HieCoAtt）处理多模态数据，推理隐含在表征、对齐和融合过程中。
   • 阶段2：以语言为中心的短推理（System-1，2021-2023）
     引入多模态思维链（MCoT），通过提示工程（如IPVR的“看-想-确认”框架）和结构化推理（如Multimodal-CoT的两阶段生成）增强可解释性，结合外部工具（如检索、数学求解器）扩展推理能力。
   • 阶段3：以语言为中心的长推理（System-2，2023至今）
     强调系统性推理和规划ÿ