A Versatile Pathology Co-pilot via Reasoning Enhanced Multimodal Large Language Model

文章主要内容和创新点总结

主要内容

本文提出了一种名为SmartPath-R1的多模态大型语言模型（MLLM），旨在解决计算病理学中现有模型推理能力有限、任务适应性单一的问题。该模型能够同时处理区域感兴趣（ROI）级别和全切片图像（WSI）级别的任务，包括分类、检测、分割和视觉问答（VQA）等，并在72项任务中表现出优于现有模型的性能。

模型的核心框架包括：

1. 尺度依赖的监督微调（Scale-Dependent Supervised Fine-Tuning）：根据任务尺度（ROI或WSI）动态调整图像分辨率和token数量，优化视觉-语言对齐。
2. 任务感知的强化微调（Task-Aware Reinforcement Fine-Tuning）：基于Group Relative Policy Optimization（GRPO）算法，设计任务特异性奖励函数，增强模型的病理推理能力，无需依赖昂贵的思维链注释。
3. 混合专家机制（Mixture-of-Experts）：整合多尺度和多任务分析，动态适配不同任务需求。

实验基于大规模数据集（230万ROI样本和18.8万WSI样本）展开，结果显示SmartPath-R1在各类任务中显著优于Qwen2.5VL、LLaVA-Med等现有模型。

创新点