DALL-E 3: 管窥蠡测OpenAI open的一个文生图小口

DALL-E 3

总览

题目: Improving Image Generation with Better Captions
机构：OpenAI，微软
论文: https://cdn.openai.com/papers/dall-e-3.pdf
任务: 文本生成图像
特点:
前置相关工作：DALL-E，DALL-E 2

摘要

我们表明，通过对高度描述性生成的图像caption进行训练，可以显着提高文本到图像模型的提示跟随能力。现有的文本到图像模型很难遵循详细的图像描述，并且经常忽略单词或混淆提示的含义。我们假设这个问题源于训练数据集中的噪声和不准确的图像标题。我们通过训练定制图像caption器并使用它来重新caption训练集来解决这个问题。然后，我们训练了几个文本到图像模型，发现对这些合成字幕的训练可靠地提高了提示词跟随能力。最后，我们利用这些发现构建了 DALL-E 3：一种新的文本到图像生成系统，并在旨在衡量提示词跟随性、连贯性和美观性的评估中对其性能进行了基准测试，发现它与竞争对手相比具有优势。我们发布了这些评估的示例和代码ÿ