Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

本文是LLM系列文章，针对《Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model》的翻译。

摘要

我们介绍了Transfusion，这是一种在离散和连续数据上训练多模态模型的方法。Transfusion将语言建模损失函数（下一个token预测）与扩散相结合，在混合模态序列上训练单个Transformer。我们在文本和图像数据的混合上从头开始预训练多达7B个参数的多个Transfusion模型，建立了关于各种单模态和跨模态基准的缩放规律。我们的实验表明，Transfusion的缩放效果明显优于量化图像和在离散图像token上训练语言模型。通过引入特定于模态的编码和解码层，我们可以进一步提高Transfusion模型的性能，甚至将每张图像压缩到只有16个补丁。我们进一步证明，将我们的Transfusion配方扩展到7B参数和2T多模态token可以产生一个模型，该模型可以生成与类似的规模扩散模型和语言模型相当的图像和文本，从而获得两个世界的好处。

1 引言

2 背景

3 Transfusion

4 实验

5 相关工作

6 结论

这项工作探讨了如何弥合离散序列建模（下一个token预测）和连续媒体生成（扩散）