
文章核心总结与创新点
主要内容
文章针对现有内窥镜分析多模态大语言模型(MLLMs)评估基准的局限性,提出了首个全面基准EndoBench。该基准覆盖4类内窥镜场景(胃镜、结肠镜、胶囊内镜、手术内镜)、12项临床任务及12个子任务,包含5级视觉提示粒度,基于21个数据集构建了6832条经临床验证的VQA对。通过对23个主流MLLMs(含开源、医疗专用、专有模型)的评估,并以人类临床医生表现为参考,揭示了专有模型整体表现最优但仍落后于人类、医疗领域微调能显著提升任务精度、模型性能受提示格式和任务复杂度影响等关键发现。
创新点
- 首个全场景覆盖基准:首次囊括4类核心内窥镜场景,弥补现有基准场景单一的缺陷,贴合真实临床工作流。
- 多维度评估框架:围绕解剖结构识别、病变分析与分级、空间定位与区域理解、手术流程与操作分析4大维度设计12项任务,全面评估模型临床所需能力。
- 精细视觉提示设计:引入5级视觉提示粒度(图像级、框级、轮廓级、多框级、多轮廓级),精准测试模型细粒度感知能力。
- 大规模高质量数据集:基于20个公开数据集和1个私有数据集,构建446535条VQA对的EndoVQA-Instruct数据集,并筛选出6832条高质量样本组成EndoBench,确保评估可靠性。
- 全面模型对比:首次系统性评估23个不同类型ML
订阅专栏 解锁全文
1319



被折叠的 条评论
为什么被折叠?



