EMMS：高效的多模态多任务预训练模型选择器 | NeurIPS 2023

神经信息处理系统大会（Neural Information Processing Systems, NeurIPS）是国际人工智能顶会之一，今天为大家介绍通用视觉团队的中稿论文之一Foundation Model is Efficient Multimodal Multitask Model Selector，一作为我团队与上海交通大学的2023级联培博士孟繁青同学，指导老师 罗平教授，邵文琪博士。

---

模型优选，指的是给定数据集以及一簇预训练模型后，选择一个最适合的预训练模型可以在下游任务上微调后得到最好的结果。尤其在大模型蓬勃发展的今天，模型优选能作为多任务处理模型TaskMatrix 的高效API选择器。在迁移学习的框架下，一个最简单的手段是把所有的预训练模型全部进行微调，最后选择最适合的那一个，但是微调的时间与物力成本过高。所以这一任务的难点在于如何准确且高效的完成多个预训练模型的下游任务效果预测。现有工作 都聚焦于特定任务的模型优选，比如图像分类。且由于方法设计包括了任务的先验信息，无法有效的扩展到其他任务比如图像描述等。为了解决这个问题，我们提出EMMS（Efficient Multimodal Multitask Model Selector）。EMMS是一个高效的多模态多任务预训练模型选择器，可以快速为包括图像分类，图像描述，视觉，文本问答，视觉定位任务等任务选择最合适的预训练模型，已被NeurIPS 2023会议接收，代码已在Github开源。

论文：

https://arxiv.org/abs/2308.06262

代码：

GitHub - OpenGVLab/Multitask-Model-Selector: Implementation of Foundation Model is Efficient Multimodal Multitask Model Selector

我们的贡献主要如下

• 我们提出了一种通用的预训练模型的下游任务性能估计