2025_NIPS_From Human Attention to Diagnosis: Semantic Patch-Level Integration of Vision-Language Mod

文章核心总结与翻译

一、主要内容

本文针对医学影像中目标导向的凝视预测问题，提出了一种多模态Transformer框架LogitGaze-Med，旨在通过模拟放射科医生解读胸部X光片时的眼球运动（扫描路径），辅助诊断决策与AI系统优化。

核心背景

现有凝视预测方法多依赖通用视觉-语言模型和显著性特征，难以捕捉医学领域的细粒度临床语义，且大规模医学凝视数据因成本、隐私等问题难以获取，无法满足实际临床需求。

技术框架

LogitGaze-Med整合三大关键模态：

1. 领域特异性视觉编码器（如CheXNet、CheSS等）提取医学影像特征；
2. 诊断标签的文本嵌入，明确任务目标；
3. 基于logit-lens技术从医学视觉-语言模型（LLaVA-Med/LLaVA-Rad）中提取的补丁级语义先验，对齐临床相关影像区域。

模型通过连续回归预测注视坐标和停留时间，生成具有临床意义的扫描路径，并在GazeSearch数据集和MIMIC-CXR合成数据集（经专家验证）上进行评估。

核心结果

1. 扫描路径相似度指标较现有基线提升20%-30%；
2. 将预测注视信息作为额外训练数据，使下游病理分类任务性能提升超5%；
3. 合成扫描路径的视觉真实性（4.3/5.0）和临床相关性（4.2/5.0）获专家高度认可；
4. 框架在不同医学视觉-语言模型和编码