微软联手清华，打造VisionPrefer：AI注释让文本到图像生成的对齐更符合人类偏好！

DeepVisionary 每日深度学习前沿科技推送&顶会论文分享，与你一起了解前沿深度学习信息！

Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation

引言：人工智能在图像生成领域的新进展

近年来，人工智能在图像生成领域取得了显著的进步。特别是在文本到图像的生成模型方面，如大规模扩散模型（例如Imagen和DALL·E2），已经能够在提供新颖文本提示的情况下生成高质量和具有创造性的图像。然而，尽管取得了这些进展，当前的生成模型仍面临着一些挑战，例如可能生成与人类偏好偏离的不正确或不安全的内容。

为了解决这些问题，研究者们开始探索使用人类反馈来对这些模型进行微调，以更好地与人类偏好对齐。这种方法被称为从人类反馈中学习的强化学习（RLHF）。此外，最近的研究表明，使用由人工智能生成的数据作为训练信号，是一个有前景的途径，可以在视觉生成模型中实现与人类偏好更好的对齐。

在这一背景下，我们介绍了一个新的项目——VisionPrefer，这是一个公开可用的、由AI生成的数据集，它包含了数百万条关于模型生成图像的细粒度人类偏好信息。与现有的人类偏好数据集相比，VisionPrefer具有可扩展性、细粒度的偏好注释和全面的反馈格式等优点。

论文标题：Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation

机构：Microsoft Research Asia, Beijing, China; Tsinghua University, Beijing, China

论文链接：https://arxiv.org/pdf/2404.15100.pd