本文介绍了DALL·E，一个拥有120亿参数的基于自回归transformer的模型，它在大量图片-文本对上训练，能将文本转化为图像。DALL·E通过dVAE将图像编码为token，然后使用transformer建模文本和图像的联合分布。在与GAN模型的比较中，DALL·E在人为评价中表现出色。文章详细阐述了两步训练方法和ELBO损失函数的使用。
1 简介
本文根据openAI 2021年2月的《Zero-Shot Text-to-Image Generation》翻译总结的。原文详见https://arxiv.org/pdf/2102.12092v1.pdf。
DALL·E : 论文中没看到这个名字，可能是后起的吧。
DALL·E有120亿参数，基于自回归transformer，在2.5亿 图片-文本对上训练的。在人为评价中，90%的时间认为该模型好于以前的模型。
DALL-E还没有使用扩散模型，使用的dVAE（discrete variational autoencoder离散变分自动编码器）。文中主要和GAN相关模型进行比较，如AttnGAN、DM-GAN、DF-GAM.
2 方法
采用两步法。
第一步：训练一个dVAE（discrete variational autoencoder离散变分自动编码器），其将256*256的RGB图片转换为32*32的图片token。图片token的词汇量大小是8192个。第一阶段同时训练dVAE编码器和dVAE解码器。图片token示例如下：
第二步：将文本token（采用256 Byte Pair Encoding (BPE) 编码）和图片token（32*32=1024）进行拼接，然后训练一个自回归transformer来建模文本和图片token的联
最低0.47元/天 解锁文章
扫一扫
3751
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
