On Domain-Specific Post-Training for Multimodal Large Language Models

本文是LLM系列文章，针对《On Domain-Specific Post-Training for Multimodal Large Language Models》的翻译。

摘要

近年来，通用多模态大语言模型（MLLM）迅速发展。然而，将通用 MLLM 应用于特定领域（例如科学领域和工业应用）的探索仍然较少。本文通过后训练系统地研究了 MLLM 的领域适应，重点关注数据合成、训练流程和任务评估。 （1）数据合成：使用开源模型，我们开发了一种视觉指令合成器，可以有效地从特定领域的图像捕获对生成各种视觉指令任务。在增强 MLLM 的特定领域性能方面，我们的综合任务超越了手动规则、GPT-4 和 GPT-4V 生成的任务。 (2) 训练管道：虽然两阶段训练（首先是图像捕获对，然后是视觉指导任务）通常用于开发通用 MLLM，但我们应用单阶段训练管道来增强特定领域训练后的任务多样性。 （3）任务评估：我们通过后训练不同来源和规模的MLLM（例如Qwen2-VL-2B、LLaVA-v1.6-8B、Llama-3.2-11B）在生物医学和食品两个领域进行实验，然后评估 MLLM 在各种特定领域任务上的性能。为了支持 MLLM 领域适应的进一步研究，我们将开源我们的实现。