论文阅读笔记——Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

Transfusion 论文

Transfusion 在 50% 文本和 50% 图像上做预训练，文本使用 Next Token Prediction，图像使用 diffusion。在训练的每一步，Transfusion 使用两种模态的损失函数来训练。Embedding 层将 text token 转换为向量，patchify 层把 image 表示为 patch 向量的序列。对 text token 使用 causal mode attention，对 image patch 使用 bi-directional attention。

• 数据：每个文本字符串被标记为来自固定词汇表离散的 token 序列，每个图像用 VAE 编码为 latent patch，按从左到右从上到下排序，并用 $<BOI><EO$