
医学AI现状与问题
医学AI会写解释,但不代表它真的“看到”了关键证据。过去的医学多模态模型,大多是把一张影像或一段视频编码成视觉特征,然后让大模型生成答案与解释。然而,一个微小病灶、一个边界变化、一段几秒钟的手术动作,往往就决定了答案是否成立,而模型“被动接收”视觉上下文时,很容易看错区域、漏看病灶。
新范式的提出
为应对这一问题,上海创智学院LeapQuest团队联合浙江大学、上海交通大学、复旦大学,拿出两篇ICML 2026接收论文,首次把Think with Images/Think with Videos范式应用在医学AI领域。模型不再只是看完图像或视频后生成解释,而是在推理链中主动调用视觉工具,重新观察关键区域或关键时刻,并用新证据修正判断。这意味着,视觉不再只是输入,视觉证据本身成了模型思考过程的一部分。
Ophiuchus:让模型学会“用视觉证据思考”
医学AI过去常见的工作方式存在问题,解释完整不代表看到关键证据。Ophiuchus和MedScope推进了这一问题,多模态模型不再“被动接收视觉上下文”,而是在推理中主动决定是否需要更多证据、看哪里、回看哪一段,并把观察结果纳入后续推理。Ophiuchus将大模型改造成能与医学图像工具协同的视觉智能体,根据推理状态调用外部视觉工具,工具输出以observation形式回到推理链,驱动下一步判断。它让工具成为推理链一部分,使模型从“会调用工具”走向“会用工具思考”。在同样外部工具配置下,Ophiuchus - 7B在8个VQA benchmark上取得68.0的平均分,高于OpenAI - o3的62.2、Gemini 2.5 Pro的61.8和GPT - 5的59.9,在工具使用准确性评估中,达到97.9%的平均工具调用准确率。
MedScope:从“看图思考”走向“回看关键时刻”
如果说Ophiuchus解决医学图像局部证据问题,那么MedScope把范式推进到长视频场景。长临床视频挑战大,关键证据细且稀疏,要看对内容和时间。MedScope提出的 “think with videos” 模拟临床医生观察方式,先建立全局理解,再回到可疑时间窗,截取片段、获取关键帧,最后整合局部观察结果。这使MedScope推理过程具备可审查性。为让模型学会这种行为,MedScope构建了ClinVideoSuite,训练采用三阶段路线。在SVU - 31K、ClinVideo - Eval等评测中,MedScope在多粒度视频理解、细粒度时序推理和grounded VQA上取得开源模型中的SOTA。论文显示,去掉evidence reward会显著降低定位质量。
新范式的意义
把两篇工作放在一起,它们共同定义了新的医学多模态智能范式,模型推理过程是语言、工具、图像区域、视频片段和证据反馈之间的闭环交互。医学AI的下一个关键能力是主动寻找、验证并引用视觉证据,Ophiuchus和MedScope把这变成可训练、可评测、可扩展的技术路线。“Think with Images/Videos”让医学AI向真实临床认知方式靠近,为临床可信AI提供三类重要能力。从Ophiuchus到MedScope,医学多模态大模型发生底层范式转向,“think with images/videos”重新定义了“推理”的边界,让医学AI从“会回答问题”走向“会进行临床视觉推理”。LeapQuest[起跃界问]是上海创智学院的青年交叉研究团队,推动模型从“生成答案”走向基于证据的观察、验证与行动。
394



被折叠的 条评论
为什么被折叠?



