2025_NIPS_Text Promptable Surgical Instrument Segmentation with Vision-Language Models

文章总结与翻译

一、主要内容

本文针对微创手术中手术器械的多样性和难区分性问题，提出了一种新颖的文本可提示手术器械分割方法。该方法以预训练视觉语言模型（CLIP）为基础，重新定义手术器械分割任务为文本可提示形式，增强模型对新型器械的适应性和语义理解能力。

核心架构包括四大模块：

1. 图像与文本编码器：基于CLIP的ViT图像编码器（经多尺度特征增强）和Transformer文本编码器，提取对齐的视觉与文本特征；
2. 文本可提示掩码解码器：结合注意力机制提示和卷积提示方案，从粗到精实现器械分割；
3. 提示混合机制：借鉴混合专家思想，融合多源文本提示（器械名称、模板化描述、GPT-4生成描述）的预测结果，提升分割性能；
4. 硬器械区域强化模块：结合掩码自编码器（MAE），通过硬区域挖掘和图像重建，增强模型对复杂区域的特征理解。

实验在EndoVis2017、EndoVis2018等多个数据集上验证，该方法在Ch_IoU、ISI_IoU、mc_IoU等指标上显著优于现有方法，且跨数据集泛化能力突出，具备临床应用潜力。

二、创新点

1. 首次提出文本可提示手术器械分割范式：突破传统预定义类别分割的局限，通过文本描述辅助分割，无需重新标注和训练即可适配新型手术器械；
2. 双提示解码方案</