Grounding Multimodal Large Language Models with Quantitative Skin Attributes: A Retrieval Study

文章总结与翻译

一、文章主要内容

该研究聚焦于解决皮肤疾病AI诊断模型的可解释性问题，旨在通过多模态大型语言模型（MLLMs）与定量属性结合，提升模型在临床实践中的实用性。

1. 研究背景

皮肤疾病（尤其是皮肤癌）每年影响数百万人生活，而皮肤科医疗资源分布不均、医生短缺等问题，导致晚期诊断率高、预后差。现有AI模型虽在皮肤癌诊断准确率上可媲美资深皮肤科医生，但“黑箱”特性使其推理过程不透明，既不符合临床循证推理原则，还可能因依赖训练数据中的虚假关联（如手术标记、尺子等）威胁患者安全，难以融入临床常规流程。

2. 核心方法

• 模型选择与微调：选用Qwen 2 VL多模态大型语言模型，在SLICE-3D数据集（含40余万张皮肤病变裁剪图像及元数据属性）上微调，使模型能从图像中预测16个皮肤病变定量属性（如病变面积、边界不规则度、LAB颜色空间对比度等，具体属性及定义见表1）。微调采用低秩适应（LoRA）技术，联合优化视觉编码器与解码器，最大化属性值预测的对数似然。
• 两种嵌入空间构建：
  • 图像仅嵌入：对图像令牌解码器输出取平均，生成捕捉整体视觉相似性的嵌入，用于检索视觉上相似的图像。
  • 图像-文本嵌入：结合图像与特定属性问题的令牌，取解码器最终令牌输出作为嵌入，可针对性检索在特定属性上与查询图像匹配的图像。
  <