LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day

发表时间：1 Jun 2023

论文链接：https://arxiv.org/pdf/2306.00890

作者单位：Microsoft

Motivation：会话生成 AI 在为生物医学从业者赋能方面显示出显着的前景，但目前的研究主要集中在单模态文本上。多模态会话 AI 通过利用来自公共网络的数十亿个图像-文本对取得了快速进展，但这种通用域视觉语言模型在理解和谈论生物医学图像方面仍然缺乏复杂性。

解决方法：在本文中，我们提出了a cost-efficient approach 来训练视觉语言会话助手，该方法可以回答生物医学图像的开放式研究问题。

实现方式：关键思想是利用从 PubMed Central 中提取的大规模、广泛覆盖的生物医学图形字幕数据集，使用 GPT-4 从字幕中自我构建开放式指令跟踪数据，然后使用一种新颖的curriculum learning method微调大型通用域视觉语言模型。具体来说，该模型首先学习使用图-标题对对齐生物医学词汇，然后学习使用 GPT-4 生成的指令跟踪数据掌握开放式对话语义，广泛模仿外行者如何逐渐获得生物医学知识。

1. 我们提出了一种新的数据生成pipline来创建不同的（图像、指令、输出）实例，通过从 PMC-15M 中采样生物医学图像-文本对并使用 GPT-4 仅从文本创建指令（成为预期输出）。这需要零手动注释，并通过搭载 PMC-15 创建了一个极其多样化的视觉指令跟踪数据集，该数据集涵盖了生物医学图像上研究发现的全部范围。