Proactive Reasoning-with-Retrieval Framework for Medical Multimodal Large Language Models

一、文章主要内容总结

本文针对医疗多模态大语言模型（MLLMs）在推理过程中依赖内部知识导致的幻觉推理、事实不准确等问题，提出了首个多模态医疗推理-检索框架 MED-RWR。该框架模拟临床医生诊断逻辑，在推理过程中主动检索外部医疗知识，结合视觉诊断结果与文本临床信息提升诊断可靠性与泛化能力。

核心内容包括：

1. 环境构建：通过“聚类-重构-分层”（Cluster-Reconstruct-Stratify）流程构建多模态训练数据集（约6500个不同难度的问答对）和专用知识库，为推理-检索提供支撑；
2. 两阶段强化学习（RL）策略：第一阶段基于纯文本医疗数据训练基础推理-检索能力，第二阶段扩展至多模态数据，通过四种定制化奖励（格式奖励、准确率奖励、查询语义奖励、置信度提升奖励）引导模型有效检索；
3. 置信度驱动的图像重检索（CDIR）：测试时若模型预测置信度低于阈值（λ=0.8），通过检索相似多模态病例补充信息，提升诊断准确性；
4. 基准测试验证：在MedXpertQA-MM、MMMU-H&M等公共医疗基准数据集上实现5.1%-12.3%的性能提升，并在自建的超声心动图基准（ECBench）上取得8.8%的性能增益，验证了模型在数据稀缺的专业领域的泛化能力。

二、创新点

1. 首个多模态医疗推理-检索框架：突破现有单模态检索增强生成（RAG