PathAgent: Toward Interpretable Analysis of Whole-slide Pathology Images via Large Language Model...

文章总结与翻译

一、主要内容

本文针对全切片病理图像（WSIs）分析中现有计算模型缺乏明确推理轨迹、可解释性差等问题，提出了一种无需训练、基于大语言模型（LLM）的智能体框架PathAgent。该框架模拟病理学家的反思性、逐步分析方法，通过三个核心模块协同工作：Navigator（导航器）用于检索感兴趣区域（RoIs），Perceptor（感知器）提取形态学视觉线索，Executor（执行器）作为核心，通过多步推理动态提供分析指导并整合证据。

PathAgent的工作流程为迭代式：首先获取初始分析状态，对WSI进行分块并生成形态学描述，筛选与问题相关的关键区域；随后通过执行器判断证据充分性，选择补充证据检索、放大细节观察或直接得出结论三种行动；最终整合所有迭代的分析状态与推理轨迹，生成可解释的诊断结果。

在五个挑战性数据集上的评估表明，PathAgent在零样本视觉问答任务（包括开放式和封闭式问题）中表现优于现有任务特定基线，且经病理学家协作评估确认，其具备作为透明、符合临床实际的诊断辅助工具的潜力。

二、创新点

1. 动态分析逻辑：在Executor中采用多步推理替代单步推理，能够构建分析逻辑并动态提供指导，精准检索任务相关信息。
2. 自适应放大功能：可根据分析状态自适应选择合适的放大倍数，生成更精细的视觉证据，平衡全局上下文与局部细节。
3. 增强型证据检索：简化Navigator的查询策略，提高证据捕获的准确性，同时避免冗余信息干