论文阅读-DiT：Scalable Diffusion Models with Transformers

原创 已于 2024-04-14 21:37:58 修改 · 1.4k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读

于 2024-04-14 21:17:28 首次发布
本文探讨基于Transformer架构的扩散模型，用其替换U - Net，实现高质量图像生成。介绍了此类扩散模型DIT，研究了网络复杂度与样本质量的关系。阐述了扩散公式、无分类器引导等预备知识，还说明了DiT设计空间，包括补丁化及处理流程。

近来有一些基于扩散模型+transformer的视觉大模型，比如Sora，本文讲的就是背后原理。

文章目录

前言

本文使用具有Transformer主干的扩散模型，实现高质量图像，如下确实很难分辨：
在这里插入图片描述

提示：以下是本篇文章正文内容，下面案例可供参考

一、摘要

探索了一类基于Transformer架构基础上的扩散模型。用Transfomer架构替换之前的U-Net，通过增加transformer的深度/宽度或input tokens实现比之前所有扩散模型更优秀的表现。

二、介绍

        Transformers推动了机器学习的复兴，过去NLP，CV以及其他许多领域都受影响很大。但图像级生成任务还没有太多应用。扩散模型是图像级生成方法的主流解决方案，不过都是基于U-Net的。
        原始的扩散模型中U-Net主要由resnet组成，不过额外加了空间自注意力块。本文的目的是为以后的生成模型提供一个baseline，并且想证明U-Net的归纳偏置并不重要。同时使用Transformer作为架构，为跨领域任务开辟可能性（确实，比如现在的多模态任务等，都统一在Transformer上）。
        此类扩散模型称为DIT，遵循ViT，与传统卷积网络相比，ViT在视觉识别方面效果更好。此外研究了网络复杂度与样本质量之间的规模化行为，发现网络复杂度（以Gflops度量）与样本质量（以FID度量）之间存在强相关性。

三、相关工作

   

最低0.47元/天 解锁文章
Scalable diffusion models with transformers
liguandong
11-07 3026
首先是一个patch embedding来将输入进行patch化，得到一系列的tokens，其中patch size属于一个超参数，直接决定了tokens的数量，影响模型的计算量。由于对输入进行了token化，所以在网络的最后还需要一个decoder来恢复输入的原始维度，DiT采用一个简单的linear层来实现，直接将每个token映射为pxpx2C的tensor，然后再进行reshape来得到和原始输入空间维度一样的输出，但是特征维度大小是原来的2倍，分别用来预测噪音和方差。
论文阅读：Scalable Diffusion Models with Transformers
huzimu_的博客
03-07 3196
Stable Diffusion 3的技术论文。该论文提出了Diffusion Transformers （DiTs)，其相较于基于U-Net的LDM等扩散模型有着更为优异的性能。
DiT（Diffusion Transformer）详解——AIGC时代的新宠儿
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-25 1万+
本文详细介绍DiT（Diffusion Transformer）了，DiT作为AIGC时代的新宠儿，将Transformer和Diffusion结合，在图像和视频生成
【扩散模型】论文精读：Scalable Diffusion Models with Transformers（DiT）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-21 1956
论文题目：Scalable Diffusion Models with Transformers —— VLOGGER：具身化身合成的多模态扩散纯Transformer的扩散模型！研究扩散模型必读文章！我们基于变压器架构探索了一类新的扩散模型。我们训练图像的潜在扩散模型，用对潜在补丁进行操作的转换器替换常用的 U-Net 主干。我们通过 Gflops 测量的前向传递复杂度透镜来分析我们的扩散变换器 (DiTs) 的可扩展性。
DiT Scalable Diffusion Models with Transformers
weixin_44966641的博客
02-19 2864
DiT 的思路和做法都是比较直接的，就是用 Transformer 替换掉 UNet，并探索了其 scaling 能力和条件注入的结构。在 Diffusion 成功之后，以 DiT 为代表的，有很多用 Transformer 替换 UNet 的工作，但都没有受到很大的关注。究其原因，应该是 UNet 已经做的足够好，计算开销也低，使用 Transformer scaling 上去，虽然生成质量有所提升，但也没那么显著。
【论文精读】Diffusion Transformer（DiT）
weixin_44934783的博客
02-23 5963
Diffusion Transformer（DiT）
DiT代码详细解析——Scalable Diffusion Models with Transformers
wsygxxn的博客
04-08 1565
ICCV 2023 (Oral) DIT：Scalable Diffusion Models with Transformers，替换处理latent patches的U-Net backbone。本文作者发现，通过增加Transformer深度/宽度或增加输入令牌数量，具有较高Gflops的DiT始终具有较低的FID。除了具有良好的可扩展性外，最大的DiT-XL/2模型在条件类ImageNet 512×512和256×256基准测试中的表现优于所有先前的扩散模型，在后者上实现了2.27的最先进FID。
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析
热门推荐
Bubbliiiing的学习小课堂
02-25 1万+
近期Sora大火，它底层是Diffusion Transformer，本质上是使用Transformer结构代替原本的Unet进行噪声预测，好处是统一了文本生成与视频生成的结构。这训练优化和预测优化而言是个好事，因为只需要优化一种结构就够了。虽然觉得OpenAI是大力出奇迹，但还是得学！
DiT论文精读Scalable Diffusion Models with Transformers CVPR2023
m0_52474839的博客
04-24 2870
idea将UNet架构用Transformer代替。并且分析其可扩展性。并且实验证明通过增加transformer的宽度和深度，有效降低FID我们最大的DiT-XL/2模型在classconditional ImageNet 512、512和256、256基准上的性能优于所有先前的扩散模型，在后者上实现了2.27的最先进FID。
DiT：Scalable Diffusion Models with Transformers # 论文阅读
qq_29679623的博客
05-31 786
上帝视角看的神作 DIT 架构，22 年 12 月 META（伯克利+新乡大学）发布，一个取代了 Unet 的全 transformer diffusion 生图架构。
【论文阅读】Scalable Diffusion Models with Transformers
weixin_57974242的博客
03-18 857
DiT：基于transformer架构的扩散模型。
读论文---Scalable Diffusion Models with Transformers
计算机视觉
12-30 3871
Scalable Diffusion Models with Transformers
【扩散模型系列2】DiT 《Scalable Diffusion Models with Transformers》论文阅读
weixin_41021342的博客
03-04 5038
论文提出了一类使用transformer的扩散模型。将其中的主干网络U-Net用替代，以获取更好的效果。实验证明了transformer架构在扩散模型上的scalability能力，分析发现 DiTs速度更快（Gflops更高），并且始终具有较低的FID（FID是反应生成图片和真实图片的距离，数据越小越好1GLOPs=10亿次浮点运算。是Paper里比较流行的单位。FID是反应生成图片和真实图片的距离，数据越小越好最大的模型DiT-XL/2在ImageNet。
【论文阅读】Multimodal Diffusion Transformer: Learning Versatile Behavior from Multimodal Goals
qq_33673253的博客
08-10 1308
mdt在具有挑战性的calvin和libero基准提供的164个任务上表现出了卓越的性能，包括一个包含不到2%语言注释的libero版本。此外，mdt 在 calvin 操作挑战上建立了一个新记录，与之前需要大规模预训练的最先进方法相比，绝对性能提升 15%，并且包含更多的可学习参数。这项工作介绍了多模态扩散Transformer (mdt)，这是一种新的扩散策略框架，擅长从多模态目标规范中学习多功能行为，几乎没有语言注释。，并编码足够的信息来预测未来的状态。，基于多模态目标掌握长期操作任务。
【论文阅读】FasterDiT: Towards Faster Diffusion Transformers Training without Architecture Modification
最新发布
weixin_57974242的博客
07-21 1267
比如用lognorm分布让训练重点集中于某些关键区间，可以让模型最好的时候极其优秀（比如FID分数更低），但整个训练稳定性下降，“容易翻车”。优点：这个观点统一了加权、采样、信号强度等各种训练trick，能用直观的分布曲线解释“为何有的trick有效，有的变差”。传统做法：只关注"时间来到了第t步"，实际上在不同数据、不同信号强度下，相同的t对应的"绝对信噪比"是完全不同的。在预测噪声的基础上，进一步用余弦相似性去鼓励模型“学对方向”（不仅幅值对，方向也对），能让训练收敛更快更稳。
DiT (Scalable Diffusion Models with Transformers) 论文学习笔记
hjhr2018的博客
07-15 1332
在这个函数中，labels参数表示输入的标签，force_drop_ids用于指定哪些标签需要被强制丢弃，dropout_prob表示丢弃的概率，函数使用 torch.where函数根据 drop_ids是否=1将需要丢弃的标签替换为 self.num_classes，此时共有num_classes+1个类别。在训练过程中以一定概率令条件编码=空，得到条件生成和无条件生成的输出，再将其线性组合作为最终的输出。最后，我们将解码后的标记重新排列为其原始空间布局，以获得预测的噪声和协方差。位置编码：梯度不更新。
[读论文][code运行教程]DiT Scalable Diffusion Models with Transformers
计算机视觉
11-16 3832
如果您使用train.py(见下文)训练了一个新的DiT模型，那么您可以添加——ckpt参数来使用您自己的检查点。例如，要从自定义256x256 DiT-L/4型号的EMA权重。
DuGa-DIT论文翻译
Jockson song的博客
05-28 1347
双门控图注意力网络与跨语言实体对齐的动态迭代训练近年来，跨语言实体对齐引起了相当大的关注。过去使用传统方法来匹配实体的研究都有一个共同的问题，即在建模过程中遗漏了实体之外的重要结构信息。这使得图神经网络模型可以介入。大多数现有的图神经网络方法分别对个体知识图（KG）进行建模，并使用少量预先对齐的实体作为锚点来连接不同的知识图谱嵌入空间。,然而，这一特性可能会导致几个主要问题，包括由于可用种子对齐不足而导致的性能限制以及对节点之间上下文信息有用的预对齐链接的忽略。在本文中，我们提出了 DuGa-DIT，一种具
【论文速看】DL最新进展20241029-Diffusion、多模态
qq_40734883的博客
10-29 866
【论文速看】DL最新进展20241029-Diffusion、多模态
探索git-dit：实现分布式问题追踪的新工具
标题：“git-dit：git的分散问题跟踪” 知识点： 1. git基础概念 - git是一个分布式版本控制系统，由Linus Torvalds创建用于Linux内核开发。它允许用户在离线状态下工作，并在联网时与远程仓库同步。 - git使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值