Sora核心之一：当Diffusion遇到Transformer，DiT的前世今生

已于 2024-03-17 16:19:18 修改
阅读量4.4k 收藏 18
点赞数 4
分类专栏： AIGC 文章标签： transformer 深度学习 人工智能 AIGC stable diffusion 计算机视觉 论文阅读
于 2024-02-19 17:02:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pku_langzi/article/details/136174246
版权
本文详细介绍了将Transformer架构与Diffusion模型结合的DiT方法，探讨了DiT在图像生成任务中的优势，包括与U-Net相比的效率提升和可扩展性。通过实验，展示了模型复杂度与生成质量的关系，并与其他扩散模型进行性能比较。此外，还介绍了PIXART-α，一个快速训练的文本到图像生成模型，该模型在降低训练成本和环境影响的同时，保持了高质量的图像生成能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Diffusion与Tranformer结合的代表性文章（DiT的前世今生）

一、DiT

题目: Scalable Diffusion Models with Transformers
机构：UC Berkeley，纽约大学
论文: https://arxiv.org/pdf/2212.09748.pdf
代码：https://github.com/facebookresearch/DiT
任务: 图像生成
特点: 将Diffusion中常常用到的UNet替换为transformer结构，并分析模型复杂度以及生成质量的关系，相比于UNet在效率上的优势，以及模型架构的可扩展性
前置相关工作：DDPM，Improved DDPM，ADM，LDM，Classifier-free guidance，Parti
同期类似工作：UViT
后续衍生以及改进工作：HDiT，SiT，FiT，PIXART-a
王炸级旗舰产品࿱

了解本专栏 订阅专栏 解锁全文 超级会员免费看
解读OpenAI视频生成模型Sora背后的原理：Diffusion Transformer
沉迷单车的追风少年
02-18 3467
OpenAI最近推出的视频生成模型Sora效果上实现了真正的遥遥领先，很多博主都介绍过Sora的效果，但是深入解读背后原理的博客却非常少。Sora的原理最主要的是核心模型主干《Scalable Diffusion Models with Transformers》和训练不同尺寸视频方法《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。这篇博客详细解读Diffusion Transformer结构，
多模态论文笔记——DiT（Diffusion Transformer）
haopinglianlian的博客
11-28 2653
本文详细介绍Transformer架构图像生成方面的应用，将Diffusion和Transformer结合起来的模型：DiT。目前DiT已经成为了AIGC时代的新宠儿，视频和图像生成不可缺少的一部分。
DiT（Diffusion Transformer）详解——AIGC时代的新宠儿
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-25 9389
本文详细介绍DiT（Diffusion Transformer）了，DiT作为AIGC时代的新宠儿，将Transformer和Diffusion结合，在图像和视频生成
Diffusion Transformer模型结构解析（DiT、SD3、Flux）
weixin_44966641的博客
11-14 3531
从 UNet 迁移到 DiT，可以利用 Transformer 模型的 scaling 能力，通过增大参数量来提升出图的质量。在这个迁移过程中，我们需要考虑 Transformer 应用于扩散模型时的 patchify、positional encoding、conditioning 等几个重要环节。DiT 首先提出，确立了 patchify 的方法，并实验得到 adaLN 是比较适合 Diffusion Transformer 的 conditioning 方式；
Diffusion Transformer（DiT）
最新发布
jerwey的博客
05-06 642
DiT通过Transformer的全局注意力机制和ViT的patch处理方式，解决了传统U-Net在长距离依赖和扩展性上的局限，成为扩散模型的新范式。其处理过程结合了条件控制、噪声预测和逐步去噪，适用于图像、视频等多种生成任务。以下是针对论文中。
【论文精读】Diffusion Transformer（DiT）
weixin_44934783的博客
02-23 4906
Diffusion Transformer（DiT）
DiT解读：当Diffusion遇上Transformer
JJ-Li的博客
04-20 5232
DiT论文解读，Diffusion结合Transformer，前置知识讲解，sora技术猜测
一文带你搞懂DiT（Diffusion Transformer）
热门推荐
2401_84033492的博客
05-25 3万+
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
Transformer和Diffusion是什么
weixin_46053950的博客
12-04 465
让我用故事和比喻的方式给你讲解Transformer和Diffusion！这个解释生动形象吗？需要我深入某个细节吗？🤖 Transformer：智能翻译大使。🌈 Diffusion：魔法画家。
【论文阅读】UniDiffuser： Transformer+Diffusion 用于图、文互相推理
prinTao的博客
09-27 1379
而多模态大模型将能够打通各种模态能力，实现任意模态之间转化，被认为是通用式生成模型的未来发展方向。最近看到不少多模态大模型的工作，有医学、金融混合，还有CV&NLP。今天介绍：论文链接：https://ml.cs.tsinghua.edu.cn/diffusion/unidiffuser.pdf开源代码：https://github.com/thu-ml/unidiffuser。
【论文+DiT】Sora和SD3背后的主干模型: 扩散Transformer（23.03.DiT:Scalable Diffusion Models with Transformers）
进一寸有一寸的欢喜
07-15 1602
在潜在扩散模型（Latent Diffusion Models, LDMs）框架下构建和基准测试DiT设计空间，我们可以成功地用Transformer替代U-Net骨干。我们进一步表明，DiTs是可扩展的扩散模型架构：网络复杂度（用Gflops衡量）与样本质量（用FID衡量）之间存在强相关性。通过简单地扩大DiT并训练具有高容量骨干（118.6 Gflops）的LDM，我们能够在类别条件的256×256 ImageNet生成基准测试上实现2.27 FID的最先进结果。
DiT（Diffusion Transformer）及其研究进展简述
agito_cheung的博客
02-13 1201
定义DiT（Diffusion Transformer）是一种结合了扩散模型（Diffusion Models）和Transformer架构的生成模型，主要用于图像和视频生成任务。其核心思想是用Transformer替代传统扩散模型中的U-Net架构，利用Transformer的全局建模能力提升生成质量与扩展性。DiT在潜空间（Latent Space）中操作，通过变分自编码器（VAE）将高维图像压缩为低维特征，从而降低计算复杂度。
Diffusion Transformers (DiTs) - 用Transformer革新Diffusion模型
阿正的梦工坊
03-18 1630
这篇博客将为熟悉Diffusion模型和U-Net的读者详细解读DiTs的核心贡献、组成模块、数据流方向，以及它解决的问题和生成图像的过程。
终极指南：RNNS、Transformers 和 Diffusion 模型
gongdiwudu的专栏
07-02 3693
作为广泛使用这些工具和模型的人，我的目标是解开 RNN、Transformer 和 Diffusion 模型的复杂性和细微差别，为您提供详细的比较，为您的特定需求提供正确的选择。
算法进阶 | Transformer+Diffusion? Transfusion!
csdn_xmj的博客
01-10 1057
近日，Meta 和 Waymo 发布了最新论文《Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model》，该论文将流行的 Transformer 模型与 Diffusion 模型相结合，用于多模态训练和预测。
NLP入门：word2vec & self-attention & transformer & diffusion的技术演变
NCU_wander的博客
06-28 2389
这一段时间大模型的相关进展如火如荼，吸引了很多人的目光；本文从nlp领域入门的角度来总结相关的技术路线演变路线。
DiT Scalable Diffusion Models with Transformers
weixin_44966641的博客
02-19 2591
DiT 的思路和做法都是比较直接的，就是用 Transformer 替换掉 UNet，并探索了其 scaling 能力和条件注入的结构。在 Diffusion 成功之后，以 DiT 为代表的，有很多用 Transformer 替换 UNet 的工作，但都没有受到很大的关注。究其原因，应该是 UNet 已经做的足够好，计算开销也低，使用 Transformer scaling 上去，虽然生成质量有所提升，但也没那么显著。
Scalable Diffusion Models with Transformers
通街是密人有的博客
01-09 5160
我们探索了一类新的基于Transformer结构的扩散模型。我们训练图像的潜在扩散模型，用一个对潜在补丁操作的Transformer取代常用的U-Net骨干网。我们通过Gflops测量的前向传递复杂性来分析扩散Transformer(dit)的可伸缩性。我们发现，具有较高gflop的dit(通过增加Transformer深度/宽度或增加输入令牌数量)始终具有较低的FID。
探讨Sora模型核心架构Diffusion Transformer
BLogabs
02-21 1516
DiT的设计使得生成的视频具有更好的质量和连贯性，能够更准确地表达文本描述中的内容。通过使用DiT作为生成模型的核心架构，Sora能够生成具有吸引力和独特性的角色，吸引观众的注意力，增强视频的视觉吸引力和情感表达能力。首先，它能够生成复杂的场景，包括多个角色、特定类型的动作以及主题和背景的准确细节。在Sora模型中，DiT作为生成模型的骨干网络，负责将用户的文本指令转化为视频内容。通过使用DiT作为生成模型的骨干网络，Sora能够将用户的文本指令转化为高质量、具有吸引力和独特性的视频内容。
Sora视频生成：LDM与DiT结合的高效流程
"Sora是一种视频生成技术，它结合了Latent Diffusion Model (LDM)和Diffusion Transformer (DiT)。LDM通过自编码器对高分辨率图像进行无损压缩，然后用扩散模型训练低分辨率的压缩图像，以减少计算需求。DiT则是在...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值