训练文本到图像模型提速 3.6 倍!JiT - DDT 像素空间编解码器超越潜在扩散模型
Linum v2 受限于注意力上下文窗口的巨大规模,一个 720p、5 秒的片段需要高达 11 万个 token,而大语言模型(LLM)在 97% 的预训练过程中处理的样本 token 数少于 8000 个。由于注意力计算成本呈二次方增长,因此减少上下文窗口是加速模型训练的关键。
大多数生成式图像和视频系统采用潜在扩散模型(LDM),将压缩和生成任务分别交由变分自编码器(VAE)和扩散变换器(DiT)完成。近年来,像 JiT 这样的像素空间模型展现出了潜力,它将两个模型合二为一,让扩散模型构建专门用于生成的潜在空间,而非依赖于用于重建的空间。
不过,在(图像,字幕)数据集上训练时,JiT 在生成精细细节方面存在困难。为此,提出了一种新颖的编解码器架构——JiT - DDT,它不仅能够恢复这些细节,而且与 LDM 相比,训练效率大幅提升。与 Linum v2 基线相比,JiT - DDT 训练文本到图像模型所需的 GPU 时长减少了 3.6 倍,尽管生成的图像像素数增加了 4 倍。
遭遇 VAE 压缩瓶颈
几乎所有生成式图像和视频模型都是潜在扩散模型(LDMs),主要由用于压缩的变分自编码器(VAE)和用于生成的扩散变换器(DiT)两个关键组件构成。
直接处理原始像素成本过高(尤其是对于视频),所以需要先将 RGB 像素转换为数量较少的 token,以便 DiT 处理,这正是 VAE 的作用。VAE 经过训练,能完成压缩和重建任务,具体是将像素空间的样本通过概率编码器,输出 k 维 token,再将这些潜在 token 通过概率解码器,转换回像素空间。
构建 LDM 时,会单独训练 VAE,之后将其冻结(即 DiT 的梯度不会流向 VAE),这样在 DiT 训练过程中,潜在空间就能保持不变。使用 VAE 的编码器对数据进行嵌入,训练 DiT 在 VAE 的潜在空间中操作,最后使用 VAE 的解码器将 DiT 生成的潜在 token 转换为像素空间的图像。
希望从 VAE 中获得尽可能多的 token 压缩,以降低 DiT 中注意力计算的成本。然而,观察流行的开源文本到图像模型,如 FLUX、Ideogram 和 Z - Image,会发现它们的 token 压缩率最高只能达到 16×16,这与几年前对图像 - 视频 VAE 的实验结果相符。遗憾的是,在不降低重建质量的前提下,标准的 CNN VAE 似乎存在一个经验上的压缩上限。
用统一模型实现激进的压缩
去年秋天,Tianhong Li 和 Kaiming He 发表了一篇论文([JiT](https://arxiv.org/pdf/2511.13720)),他们完全摒弃了 VAE,将压缩任务交给 DiT 本身,从而实现了 32×32 的 token 压缩。
这种减少 token 数量的方法并非全新概念。早在五年前,视觉变换器(ViT)就已采用,并且通常会与 VAE 结合使用,以便在 token 序列进入 DiT 之前进一步压缩它们。在 Linum v2 中,VAE 实现了 8×8(高×宽)的压缩和 16 维的潜在空间。在 DiT 的基础部分,应用了 2×2 的块化处理,实现了 16×16 的 token 压缩和 64 维的潜在空间。在 Linum v2 中使用了这种方法,FLUX 等模型也采用了相同技术。
那么,为什么之前没人尝试过这种方法呢?这看起来像是一种无成本的优化方式,既能无损地降低注意力计算成本,又非常简单。
2025 年初,像 [VA - VAE](https://arxiv.org/pdf/2501.01423) 这样的论文表明,DiT 在处理高维输入时存在学习困难。虽然有一些小技巧,例如在 VAE 训练期间使用外部模型作为正则化器(如 DINOv3),这可能使 [FLUX - 2](https://bfl.ai/research/representation-comparison) 等模型将 DiT 的潜在维度从 64 维提升到 128 维。但这些策略只是暂时缓解了 DiT 中的可学习性问题。激进的块化处理会将信息集中到通道维度,从而引发不稳定性。但实际上,这并非架构本身的问题,而是过去几年中大家在训练扩散模型时所采用的 v - 预测、v - 损失流匹配目标所导致的下游问题。
流匹配快速回顾
在 2022 年的传统去噪扩散模型(DDPM)中,通过迭代地向样本添加噪声,然后训练神经网络去除这些噪声。这样在推理时,就可以使用训练好的神经网络将高斯噪声逐步转换为符合数据分布的样本。然而,这种方法存在一系列问题,例如生成图像的过度饱和、学习不稳定和蒸馏崩溃等。因此,近年来该领域逐渐转向了流匹配方法。
在流匹配中,在数据分布中的每个样本和高斯噪声样本之间构建一条直线路径。然后,训练一个网络来近似沿着这条路径的速度。将这种方法称为 v - 预测、v - 损失,因为神经网络明确地预测速度,并通过均方误差(MSE)来训练其速度预测值与真实条件速度场之间的差异。
V - 预测与维度灾难
在训练流匹配模型时,并不一定需要让神经网络预测和回归速度。由于三个术语是线性可排列的,因此可以在预测和回归目标之间混合使用 x、ε 和 v。
在 JiT 中,Li 和 He 重新审视了自流匹配方法出现以来该领域一直采用的 v - 预测、v - 损失决策。他们使用一个玩具分布(螺旋上的点),将这些点从二维投影到不同大小的高维空间中。对于每个空间,他们分别训练了使用 x - 预测、ε - 预测和速度预测的流匹配模型。结果发现,只有 x - 预测模型能够在大维度下准确地从螺旋分布中生成样本。这表明 DiT 在处理高维输入时遇到困难是由于维度灾难导致的。
当进行 v - 预测时,神经网络需要隐式地学习信号(x)和噪声(ε)。噪声是一个随机高斯分布,它会覆盖整个 D 维空间。因此,随着 D 的增大,拟合噪声(在速度项中)的问题变得指数级困难。这就是为什么激进的块化处理在过去失败,以及 LDM 在学习高维 VAE 潜在空间时遇到困难的原因。随着通道维度的增加,DiT 最终会陷入困境,难以学习高维高斯噪声。
通过切换到 x - 预测,可以尝试避开维度灾难。如果认为图像和视频自然地位于低维流形上,那么即使在高 D 情况下,模型也应该能够有效地进行预测。
从经验上看,如果采用 x - 预测、v - 损失,这种方法是可行的。网络预测 x,将该预测转换为速度,并与真实速度进行均方误差计算。由于 v = ε - z,这实际上就是 x 损失按比例缩放,目标是更关注小 t(低噪声,近乎干净的图像)。这样,就能够应用激进的块化处理,增大通道维度,并将压缩问题转移到 DiT 中。
为文本到图像模型扩展 JiT
当了解到 JiT 能够实现 32×32 的 token 压缩时,非常兴奋并尝试使用它。但需要指出的是,这并非实现这种压缩水平的唯一方法,而且并非所有人都认为这是最佳方法。
LTX 通过修改 VAE 的解码器,使其成为一个显式的去噪器(即在流匹配目标下微调 VAE 解码器),在其视频模型中实现了相同的压缩率。最近,Minimax H3 则通过将标准的约 80 - 150M 参数的 CNN 解码器替换为 2B 参数的变换器(大约相当于整个 Linum v2 模型的大小),在其 VAE 中实现了 32×32 的压缩。在像 ImageNet 这样的玩具基准测试中,LDM 仍然在性能上略优于像素空间模型。尽管如此,认为可以克服原始 JiT 论文中存在的一些局限性,使像素空间模型在生成式图像和视频方面达到与 LDM 相当的性能。
认为,在大规模训练神经网络时,简单的方法往往优于复杂的方法。去年秋天的 [E2E - VAE](https://arxiv.org/pdf/2504.10483) 论文表明,允许 DiT 智能地反向传播到 VAE 可以显著提高生成结果并加速收敛。
觉得,如果能够专门为生成任务定制“潜在空间”,而不是依赖于为压缩而构建的空间,就能够获得更好的结果。此外,这样还能得到一个统一的模型,而不是两个分离的模型。
还认为,ImageNet 对 JiT 的基准测试可能低估了其潜力。JiT 可能借助文本提示的支持,实现比等效 VAE 更好的压缩效果。
文本到图像的基线
在预训练 Linum v2 时,使用了 VAE + 块化处理的组合,实现了 16×16 的 token 压缩。因此,在 256px 分辨率下对约 6 亿个样本进行了训练,然后引入了 180p 视频,并将分辨率提高到 512px。
对于 JiT 基线,希望在相同的图像 - 潜在 token 预算下评估其输出质量。因此,在 512px 图像上进行训练,并实现了 32×32 的 token 压缩。
JiT 能够以相同的 token 数量(256 个 token)学习 512×512 的图像。收敛速度似乎更快,但生成的人脸看起来经过了过度修饰和过度饱和处理。
我们的 JiT 设置
从 LDM 转向像素空间后,从 v - 预测、v - 损失切换到了 x - 预测、v - 损失。此外,还对网络进行了一系列其他调整:
- 单流骨干网络:将视觉 token 和文本 token 连接成一个单一的流,通过 DiT 进行处理,而不是交替使用自注意力(图像/视频)和交叉注意力(文本到图像/视频)块。这样可以增加每个块中的注意力序列长度,提高每个 token 的浮点运算次数(FLOPs),并允许文本和图像 token 之间建立更丰富的表达关系。
- 更宽而非更深的网络:将原来的 40 层、隐藏大小为 2048 的变换器模型替换为 23 层、隐藏大小为 2944 的更宽网络。近年来,更宽的网络在 DiT 架构中变得越来越常见(如 Z - Image),因此也采用了这种设计。
- 感知损失:在训练 VAE 时,通常使用感知损失(如 LPIPS)和对抗损失(通过 GAN)来使重建结果更符合人类的视觉偏好。仅使用均方误差(MSE)会导致生成的图像模糊不清。由于现在没有 VAE 解码器,需要 JiT 本身利用这些损失来生成人类喜欢的内容。仍然使用 [LPIPS](https://arxiv.org/pdf/1801.03924),但用 [P - DINO 损失](https://arxiv.org/pdf/2602.02493v1) 代替了 GAN 损失。这两种损失仅在 t < 0.1 时应用。
- SiLU 替换为 SwiGLU:将标准的 SiLU 非线性激活函数替换为门控 SiLU(即 SwiGLU)。
- Muon 优化器:Moonshot 的 Kimi 模型证明了 [Muon 优化器](https://arxiv.org/pdf/2502.16982v1) 在大规模训练中表现出色。按照他们的建议,使用 [Muon](https://kellerjordan.github.io/posts/muon/) 优化网络中的所有二维矩阵(如注意力的 q/k/v 矩阵、前馈网络的权重),而网络的输入/输出层(如块化处理、输出头)和尺度/偏置(如 AdaLN)仍然使用 AdamW 进行优化。
- PixelREPA 辅助损失:为了加速 DiT 的收敛,采用了 [PixelREPA](https://arxiv.org/pdf/2603.14366) 技术。该技术通过在网络的早期层(如 23 层变换器的第 8 层)将隐藏状态与辅助模型(如 DINOv3)的嵌入进行对齐。具体来说,对视觉 token 隐藏状态中的 x% 的 token 进行掩码处理,然后通过一个浅层变换器,最后计算所有视觉 token(包括掩码 token)与 DINOv3 辅助表示之间的余弦距离损失。由于 DINOv3 使用 16×16 的块,需要确保 DINO 表示和隐藏状态之间的 token 数量匹配,因此在图像通过 DINO 之前进行了下采样。
- Sigmoid 注意力门控:由于从交叉注意力架构转向单流 DiT 架构可能会增加出现 [注意力陷阱](https://arxiv.org/pdf/2309.17453) 的风险,采用了 [sigmoid 注意力门控](https://arxiv.org/pdf/2601.22966) 来解决这个问题。
- Qwen 文本嵌入:使用更现代的仅解码器大语言模型 Qwen3.5 - 4B 的隐藏状态来代替 T5 - XXL 文本嵌入。使用大语言模型的一个问题是不清楚应该选择哪个隐藏状态作为嵌入。大多数现代大语言模型使用稀疏/线性注意力和全注意力交替的结构,选择全注意力块之后计算的隐藏状态,将它们连接在一起,并让 DiT 学习一个变换,将这些表示组合成一个单一的文本条件。与最近的 Ideogram 和 FLUX 模型相比,考虑到 DiT 大小,认为使用更大的大语言模型并聚合所有隐藏状态的信息有些过度,因此没有采用这种方法。
JiT 训练设置
- 噪声调度:在训练时,可以选择采样 t 的分布。经验表明,在高 t 值的一个小范围内,图像的结构会被确定,这是模型最难学习的部分,因此相应地调整了时间步长的采样。
- 损失函数:均方误差(MSE)采用 x - 预测和速度加权(x - 预测、v - 损失),并在 t = 0.1 处进行钳位,以确保权重上限为 100 倍。LPIPS 和 P - DINO 是对预测图像的感知损失。PixelREPA 将第 8 层的隐藏状态与干净图像的 DINOv3 特征进行对齐(将图像下采样 2 倍以匹配 h₈ 的 token 网格)。
在像素空间中恢复精细细节
人们观察到 JiT 的一个最大局限性是它在生成精细细节方面存在困难,基线实验也证实了这一点。如果要让像素空间模型发挥出最佳性能,就需要解决这个问题。
DDT:解耦扩散变换器
LDM 也面临类似的问题,但程度较轻。2025 年初,Shuai Wang 及其团队通过他们的 DDT(解耦扩散变换器)直接解决了这个问题,并在当时的 ImageNet gFID 指标上取得了最优结果。他们观察到,在每个去噪步骤中,扩散变换器会对噪声输入进行编码,以提取低频语义成分,然后使用相同的模块对高频成分进行解码。这种方案存在一个内在的优化困境:编码低频语义需要减少高频成分,从而在语义编码和高频解码之间产生了冲突。
DDT 将模型分为两个组件:一个用于低频结构的“条件编码器”和一个用于高频细节的“速度解码器”。由于从随机噪声到基本结构的概率路径是最难学习的部分,因此编码器分配了大部分的层。在训练扩散模型时,需要在 0 和 1 之间采样时间步长,将干净的 x₀ 样本转换为噪声插值的 xₜ。自 [Stable Diffusion 3](https://arxiv.org/pdf/2403.03206) 以来,人们普遍知道在高 t 值的一个小范围内,图像的整体结构会被确定。因此,DDT 对这个分布的这一部分进行过采样,以加速收敛。基于这个发现,DDT 将大部分参数分配给了编码器。
在编码器中,他们应用了 [表征对齐(REPA)](https://arxiv.org/pdf/2410.06940),这是一种辅助损失,通过将模型早期层的隐藏状态与干净图像的 DINO 表示进行对齐来加速训练。如果在标准 DiT 的整个训练过程中都保持 REPA 损失激活,实际上会损害 [整体 FID](https://arxiv.org/pdf/2505.16792)。
DDT 通过将噪声图像(xₜ)提供给解码器,避免了这个问题,这样解码器可以提取 REPA 可能破坏的精细细节。此外,DDT 通过创建一个信息瓶颈,使解码器能够专注于细节。解码器没有接收到类别标签,由于其容量有限,它不得不依赖编码器的隐藏状态来确定结构,从而将参数分配给细节恢复。
JiT - DDT:我们的像素空间编解码器架构
自然地,尝试将 DDT 的核心思想应用到像素空间模型中,以恢复细节。将这种新架构称为 JiT - DDT。
与 DDT 采用经典的 v - 预测、v - 损失不同,JiT - DDT 使用 x - 预测、v - 损失进行训练。这一点非常关键,因为对图像进行下采样会去除大部分高频细节,只留下低频结构。因此,在 x - 预测的框架下,可以让编码器通过预测输入图像的低分辨率版本(x₀)来显式地学习结构。
具体来说,将 DiT 一分为二,为编码器和解码器分别提供独立的输入块化处理和输出头,使它们能够专业化。编码器预测输入的 512×512 图像的 64×64 版本(下采样 8 倍),并将其隐藏状态传递给解码器。这样,解码器可以获得输出图像的结构草图、自己对噪声图像的观察以及文本提示,从而生成全分辨率的图像。
这种设计的一个额外好处是,可以在编码器和解码器之间使用不对称的块大小。如果在 512×512 的图像上进行训练,编码器的任务是回归图像的 64×64 版本,这个任务所需的信息较少,因此可以使用 64×64 的块,并在 64 个 token 的序列上进行操作。同时,解码器可以使用较小的块来帮助恢复细节(如 32×32 的块甚至 16×16 的块)。
对原始 DDT 架构做了两个额外的改进:
- 编码器和解码器大小相等:在原始 DDT 中,编码器和解码器的预测分辨率相同。但在设计中,编码器预测的是下采样 8 倍的图像,大大简化了问题,因此让编码器比解码器大很多是不合理的。未来,需要进行消融实验,以确定理想的编码器/解码器块比例。
- 解码器接收文本条件:DDT 是 ImageNet 上的类别条件模型,与开放世界的图像和视频生成相比,这是一个相对较小的领域。希望恢复的许多细节会在文本中进行注释,因此认为让解码器访问这些信息会更好。在一次消融实验中尝试移除文本条件,结果发现效果不佳。因此,在后续的 DDT 实验中,在解码器中保留了文本条件。
JiT - DDT 损失函数
计算两次均方误差损失,一次是编码器对 x₀ 的 8 倍下采样版本的预测损失,另一次是解码器对原始 x₀ 的预测损失。在编码器中保留对齐损失,并将其移到网络的早期(在 12 层中的第 6 层之后,与下采样 4 倍的 x₀ 的 DINOv3 特征进行对齐,以匹配编码器 h₆ 的 token 网格)。同时,在解码器的全分辨率输出上保留感知损失。由于梯度是端到端传播的,解码器的损失也会训练编码器。
调整噪声调度
惊讶地发现,JiT - DDT 生成的图像并没有比 JiT 好太多。因此,对许多不同的训练和架构决策进行了消融实验,例如在添加解码器之前对编码器进行预热启动、从解码器中移除文本等,但都没有取得明显效果。
直到开始调整噪声调度,情况才有所改善。这是最明显的可调整参数,但奇怪的是,没有找到针对像素空间模型进行精细调整噪声调度的相关研究。
在训练过程中,将噪声调度向干净图像方向扩展。扩展噪声调度有助于 JiT - DDT 恢复雀斑和头发纹理等细节。
架构优化
去年秋天,阿里巴巴的 Z - Image 成为市场上最好的小型开放权重模型。他们的 [技术报告](https://arxiv.org/pdf/2511.22699) 包含了许多有价值的细节,尤其关注他们对架构所做的调整。
Z - Image 对 DiT 块的四项改进
- Refiners:Refiners 是 BFL 在 FLUX 中发明的 MM - DiT 块的简化版本,它可以帮助模型在将不同模态的数据组合到共享的 DiT 主干之前对其进行处理。
- AdaLN 截断:在原始架构中,AdaLN 会将维度线性扩展到 6 倍,而在改进后的架构中,将其截断为 256 维(共享),并在每个块中进一步扩展到 4 倍维度。
- 后归一化 + tanh 门控:在注意力/前馈网络输出后,应用 RMSNorm 进行后归一化,并使用 tanh 门控来限制写入范围,将门控值限制在 (-1, 1) 之间。
- LayerNorm 替换为 RMSNorm:将传统的 LayerNorm 替换为 RMSNorm,RMSNorm 只进行尺度缩放,而不进行中心偏移和偏移操作。
Refiners 改善图像质量
Refiners 明显提升了模型的性能,它解决了过度雀斑和颜色分级的问题。编码器和解码器在共享的 DiT 主干之前各获得四个特定模态的块(两个用于图像,两个用于文本,总共 8 个新块,增加了 4.77 亿个参数)。从每个堆栈中移除了一个共享块(总共 2 个),使改进后的模型的浮点运算次数(FLOPs)与未使用 Refiners 的模型相差约 5%。由于特定模态的块处理的序列长度约为共享块的一半,因此运行成本更低。
需要注意的是,两次实验在不同的时间点调整了噪声调度:使用 Refiners 的模型在 8000 万个样本时切换调度,并在更宽的调度下再训练 5800 万个样本;而之前的模型在 1.09 亿个样本时切换,并再训练 3300 万个样本。
从 Linum v2 到 JiT - DDT
目标是减少 DiT 上下文窗口中的 token 数量,以加速训练和推理。传统上,由于 v - 预测中隐含的维度灾难问题,DiT 在处理高维输入时存在学习困难。
通过切换到 x - 预测,使 DiT 能够成功地学习高维样本。利用这一特性应用线性块化处理,摒弃 VAE,并将压缩问题转移到 DiT 中。这样,可以专门为生成任务开发潜在空间,同时实现所需的 token 节省。
然而,这种方法的一个缺点是 JiT 一开始很难学习精细细节,而人类很容易感知这些细节,因此如果要生成高质量的图像和视频,就需要解决这个问题。JiT - DDT 就是一种让像素空间模型学习结构和细节的方法。
与 Linum v2 相比,JiT - DDT 在像素数增加 4 倍的情况下,训练所需的 GPU 时长减少了 3.6 倍。
JiT - DDT 为何有效?
认为结合三篇论文([iREPA](https://arxiv.org/pdf/2512.10794)、[Self - Flow](https://arxiv.org/pdf/2603.06507)、[RAE v2](https://arxiv.org/pdf/2605.18324))来理解 JiT - DDT 架构为何有效是很有帮助的。
DiT 难以自行学习结构
如前所述,[REPA](https://arxiv.org/pdf/2410.06940) 已成为加速 DiT 收敛的标准方法,原始作者尝试了几种不同的视觉编码器,发现 [DINOv2](https://arxiv.org/pdf/2304.07193) 效果最佳。但直到去年年底的 [iREPA](https://arxiv.org/pdf/2512.10794) 论文才深入探讨了 DINO 为何如此有效的原因。
iREPA 在 ImageNet 上使用 REPA 训练了大量生成式图像模型,并使用了更广泛的视觉编码器测试集,包括 DINOv3、现代 JEPA 变体和掩码自编码器。他们观察模型的 gFID 分数,并试图确定生成质量是否可归因于视觉编码器对整体图像的理解或对空间结构的理解。
对于整体理解,他们依赖于线性 ImageNet 探针;对于空间结构,他们构建了一套自相似性指标。这些指标量化了对象的各个部分之间的相关性,比图像中其他对象的部分之间的相关性更高(例如,狮子鬃毛的各个部分之间的相关性应该比背景天际线的部分之间的相关性更高)。
他们发现,ImageNet 探针的准确率越高,gFID 分数越差;而空间自相似性越高,gFID 分数越好。因此,REPA 似乎通过让网络的早期层关注局部结构而非整体视觉概念来加速训练。
认为这一发现与 JiT - DDT 中的编码器预测任务相呼应。对图像进行下采样(例如从 512×512 到 64×64)会去除所有细节,只留下结构。通过在 JiT - DDT 的早期阶段预测低分辨率图像,提供了类似的信号。
早期学习结构可提升图像生成质量
从宏观角度看,让数十亿参数的 DiT 与约 1 亿参数的无监督视觉编码器的隐藏空间对齐似乎有些奇怪。更大的模型应该具有更强的能力,因此如此依赖小模型的表示空间令人怀疑。
Black Forest Labs(Stable Diffusion 和 FLUX 的作者)似乎同意观点。在 [Self - Flow](https://arxiv.org/pdf/2603.06507) 中,他们摒弃了 DINO,并通过对齐网络后期的隐藏状态取得了更好的 FID 结果。
另一篇去年的论文发现,DiT 的后期层能够快速学习结构,而早期层则明显滞后。如果深层已经能够在没有外部干预的情况下学习到结构,只需对齐这些层即可。这样可以加速学习,而不会受到传统 REPA 所施加的表示上限的限制。
将 Self - Flow 和 JiT - DDT 视为类似的方法,它们以不同的方式解决了三个核心问题:
- DiT 早期层结构学习缓慢:Self - Flow 对齐已经学习到结构的后期层,而通过编码器回归低分辨率图像来明确学习结构。
- REPA 导致高频细节丢失:将 Self - Flow 视为一种自蒸馏形式,它使模型能够更好地利用其数十亿参数,一旦早期层学习到结构,后期层就可以专注于生成细节。通过使用两种不同的块化处理(一种粗糙,一种精细)实现了相同的效果。编码器明确学习结构并传播其表示,从而使解码器能够明确学习细节。
- 低噪声时间步长暴露不足:Self - Flow 依赖于双时间步长噪声处理,提供了更多的低噪声时间步长暴露。在学习到结构后,明确扩展噪声分布。
在约 1 亿个样本的情况下,PixelREPA 仍然表现更好。早期,尝试了 JiT + Self - Flow,但效果不如 JiT + [PixelREPA](https://arxiv.org/pdf/2603.14366)。认为这种差异可能是由于训练过程中看到的样本数量不同。每个实验使用 1 亿 - 1.5 亿个样本,从 [BFL 的主要论文](https://arxiv.org/pdf/2603.06507) 中无法得知他们在 ImageNet 训练中使用了多少图像。
当从 JiT - DDT 中移除 PixelREPA 时,生成的图像质量下降了 5% - 10%。因此,在低样本情况下,从辅助视觉模型进行蒸馏似乎仍然有帮助。
由于将 JiT - DDT 视为 Self - Flow 的类似方法,希望最终在有/无 PixelREPA 的情况下对架构进行 10 倍样本的训练,看看是否可以在没有辅助视觉编码器的情况下获得更好的生成效果。
另外,需要指出的是,REPA 在像素空间和 VAE 潜在空间中的效果存在明显差异。普通 REPA 对 JiT 有负面影响,这就是最初切换到 PixelREPA 的原因。进行了消融实验,探讨是否在整个训练过程中保留 PixelREPA 或在中途关闭它(这是传统做法),结果没有明显差异;PixelREPA 的掩码操作可能是一种正则化方法,帮助避免过度拟合到 DINO 空间。
增强 DiT 早期的梯度可加速学习
虽然 Self - Flow 找到了不依赖 DINO 对齐的方法,但其他研究则采用了相反的方向。在 [RAE v2](https://arxiv.org/pdf/2605.18324) 中,作者通过在 DINO 空间中训练 DiT,在 ImageNet FID 上取得了最优结果。
与像素空间模型使用块或 BFL 使用 VAE 不同,他们在所有图像上运行 DINOv3,并将 DINO 多层的隐藏状态相加得到一个表示。然后,他们训练两个独立的模型:流匹配生成模型和从 DINO 空间回到像素空间的解码器。
如果已经在 DINO 空间中进行训练,那么取消 REPA 似乎是合理的,但在 RAE v2 中,它仍然能够实现更好的生成效果。这很奇怪。
作者发现,在 RAE v2 中,REPA 简化为 x - 预测,因为 DiT 的潜在空间和对齐损失都来自 DINO。显然,这与 JiT - DDT 相呼应,也通过编码器在 DiT 的早期阶段进行 x - 预测。但认为这指向了一个更深层次的问题——DiT 存在梯度传播问题。
Self - Flow 在潜在空间、RAE v2 在 DINO 空间以及 JiT - DDT 在像素空间中都通过在网络早期引入损失项来提高模型性能。似乎所有这些模型都需要额外的梯度通道才能更有效地学习。正在深入研究这个问题,并将尽快报告结果。
附录
以下是 Linum v2 和 JiT - DDT 在 26 个不同提示下的并排比较。所有 Linum v2 生成的图像分辨率为 256×256,而 JiT - DDT 生成的图像分辨率为 512×512。有几点值得注意:
- 艺术风格还原:JiT - DDT 比 Linum v2 更能忠实还原艺术风格,例如 [9 - 炭笔画]、[17 - 罗马风格马赛克]、[19 - 油画]。
- 光照效果:JiT - DDT 生成的图像光照更加逼真,而 Linum v2 更容易生成过饱和的图像,如 [1 - 三个羊角面包]、[20 - 打字机]、[23 - 红色自行车]。
- 人脸生成:当人脸不是图像的主要焦点时,JiT - DDT 仍然难以生成逼真的人脸,如 [10 - 厨师闭眼]、[14 - 女人皱眉]、[24 - 嘴巴和眼睛变形]。通过更长时间的训练、重新平衡数据集以关注这些样本、进行 DPO 后训练或扩大模型规模,应该可以解决这些问题。
作者声明
本页面的所有文字由撰写,使用 Claude Fable 5.1 帮助构建图表。Huggingface 模型卡片和 Github 仓库由 Claude Fable 5.1 自动生成,引导 Claude 指向内部实验仓库,并让它提取和清理必要的代码。
关于我们
是 [两兄弟](/about),正在从零开始训练文本到视频模型,致力于让动画变得人人可及。
可以订阅技术博客,获取关于从头构建生成式视频模型的技术深度剖析,以及 Linum 的最新发布更新。



被折叠的 条评论
为什么被折叠?



