HETUW的博客

原始三路640×480图像经裁剪缩放后拼成880×480的T形画面，50fps视频每4帧抽1帧得17帧，再双线性缩至416×240。通过WanVideoVAE编码为5格latent（17→5），时间下采样与空间下采样结合。训练时以第1帧为条件，加噪后输入Video DiT，36通道融合噪声、掩码与条件，预测速度场并优化flow-matching loss。推理时从条件帧生成多步去噪，最终解码出17帧视频。

阿里通义万象发布开源视频基础模型Wan，采用“三明治”架构：Wan-VAE压缩像素至latent，DiT在latent空间通过Flow Matching生成，umT5提供文本条件。支持T2V与I2V，1.3B/14B模型结构一致，差异仅在宽度与层数。核心创新包括因果3D VAE、全时空注意力+共享AdaLN的DiT、分阶段训练策略及高效并行优化。推理支持多卡加速、Diffusion cache与FP8量化，显著提升效率。强调提示词扩写对生成质量的关键作用，实现高质量长视频生成。

Peebles & Xie 提出 DiT（Diffusion Transformer），首次将标准 Vision Transformer 作为图像扩散模型的去噪骨干，替代传统 U-Net。在潜空间扩散框架（LDM）下，仅通过调整去噪器结构与条件注入方式，便在 ImageNet 256×256 上实现 FID 2.27（CFG 1.5），512×512 上达 3.04，超越当时所有扩散模型。核心创新在于：以可训练的 DiT 替代卷积网络，采用时间步与类别嵌入相加调制层归一化，实现高效、可扩展的生成。