开放传神（OpenCSG）手撕Sora的Diffusion Transformer (DiT)算法

原创 已于 2024-03-06 13:36:56 修改 · 1.1k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #算法 #深度学习 #人工智能 #stable diffusion

于 2024-03-06 13:30:28 首次发布
本文详细介绍了OpenAI的Sora项目，特别是其基于DiffusionTransformer的视频生成技术，通过自注意力机制和大语言模型的能力，构建连续的隐空间生成视频。OpenCSG作为支持者，推动大模型生态社区的发展。

“Sora的出现不是偶然，而是经过长期积累、反复试错及用户反馈的必然。”

OpenAI尝试过递归网络、生成对抗网络、自回归Transformer及扩散模型。最终诞生了Diffusion Transformer。其充分利用了大语言模型Token的好处，让像素也能够被预测（Patches）。Sora的诞生不亚于2023年ChatGPT的出现，因为我们的世界是一个五彩斑斓的图像和视频组成。Sora通过社区和生态让大模型更进一步贴近于终端用户。

你能手撕Sora的Diffusion Transformer (DiT)算法吗？✍️

图片

如果你看懂了的话就【点个赞】吧。

OpenAI 的 Sora 是基于 William Peebles 和 Saining Xie 在 2023 年开发的 Diffusion Transformer (DiT)。

DiT 如何运作？我们来一起揭秘吧！

-- 目标 --

Sora是由文本提示和一系列扩散步骤生成视频。

-- 实现过程 --

[1] 输入

↳ 视频

↳ 提示：“sora is sky”

↳ 扩散步骤：t = 3

[2] 视频 → patch

↳ 将所有帧中的所有像素划分为 4 个时空patch

[3] 视觉编码器: 像素 🟨  → 潜在特征向量 🟩

↳ 将patch与权重和偏差相乘，接着使用ReLU激活

↳

最低0.47元/天 解锁文章
OpenCSG
关注
解读OpenAI视频生成模型Sora背后的原理：Diffusion Transformer
沉迷单车的追风少年
02-18 3691
OpenAI最近推出的视频生成模型Sora效果上实现了真正的遥遥领先，很多博主都介绍过Sora的效果，但是深入解读背后原理的博客却非常少。Sora的原理最主要的是核心模型主干《Scalable Diffusion Models with Transformers》和训练不同尺寸视频方法《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。这篇博客详细解读Diffusion Transformer结构，
Sora核心之一：当Diffusion遇到Transformer，DiT的前世今生
pku_langzi的博客
02-19 4814
Diffusion与Tranformer结合的代表性文章
一文带你搞懂DiT（Diffusion Transformer）
热门推荐
2401_84033492的博客
05-25 4万+
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
Diffusion扩散模型
longvoyage的博客
09-16 610
当前有四大生成模型：生成对抗模型、变微分自动编码器、流模型以及扩散模型。扩散模型在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形signal处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。原理：扩散现象物理：物质分子从高浓度向低浓度区域转移，直到均匀分布。AI：由熵增定律驱动，先给一幅图片增加噪声，让其变得极其混乱，再训练AI把混乱的照片变回有序（实现图片生成）。
解密 Sora 背后的魔法——Diffusion Transformer
略懂……略懂……
05-01 4078
随着 Sora 惊艳世界，Transformer 正逐渐替代 U-Net，成为图像和视频生成领域的新宠。本文将带大家揭示 Sora 背后的秘密，一同探索 Diffusion Transformer 的原理。
DiT（Diffusion Transformer）详解——AIGC时代的新宠儿
haopinglianlian的博客
12-10 4580
本文详细介绍AIGC时代的新宠儿DiT，Transformer和Diffusion结合起来的，图像和视频生成的领域的必备结构。
Sora 基础作品之 DiT：Scalable Diffusion Models with Transformer
kebijuelun的博客
04-01 2641
2022 年 UC Berkeley 出品的论文，将 transformer 应用于 diffusion 上实现了当时最佳的生成效果。DiT 论文作者也是 OpenAI 项目领导者之一，该论文是 Sora 的基础工作之一。
多模态论文笔记——DiT（Diffusion Transformer）
haopinglianlian的博客
11-28 3423
本文详细介绍Transformer架构图像生成方面的应用，将Diffusion和Transformer结合起来的模型：DiT。目前DiT已经成为了AIGC时代的新宠儿，视频和图像生成不可缺少的一部分。
DiT（Diffusion Transformer）及其研究进展简述
智能守恒_HengAI
02-13 1655
定义DiT（Diffusion Transformer）是一种结合了扩散模型（Diffusion Models）和Transformer架构的生成模型，主要用于图像和视频生成任务。其核心思想是用Transformer替代传统扩散模型中的U-Net架构，利用Transformer的全局建模能力提升生成质量与扩展性。DiT在潜空间（Latent Space）中操作，通过变分自编码器（VAE）将高维图像压缩为低维特征，从而降低计算复杂度。
Diffusion Transformer (DiT)：用Transformer取代U-Net，成为扩散模型新基石
weixin_45564943的博客
09-04 1083
摘要：OpenAI的Sora模型采用Diffusion Transformer(DiT)技术取代传统U-Net架构，实现高质量视频生成。DiT通过将图像分块转换为Token序列，利用Transformer处理扩散过程，并创新性地使用自适应层归一化(adaLN)注入条件信息。其中adaLN-ZERO技术通过零初始化确保训练稳定性，使模型先学习核心去噪任务再逐步适应条件控制。该技术突破为扩散模型带来更好的可扩展性，为Sora等先进生成模型奠定基础。
湘大头歌程-Ride to Office练习笔记
myw071205的博客
11-29 625
Charley骑车从起点到终点（4500米）需要有人陪伴骑行，遇到更快者会加速跟上。输入给出同行者的速度v和出发时间t，要求计算Charley到达终点的最短时间（小数向上取整）。关键思路是Charley最终会与最快到达终点的人同时到达。解题时忽略提前出发者，对每个同行者计算其到达时间t + ceil(4.5/v*3600)，取最小值作为答案。代码使用limits.h初始化最小值和math.h的ceil函数处理取整。后文详细介绍了limits.h的常量定义和math.h的四种取整函数的功能与区别
dfs|mask^翻转
一个人知道自己为什么而活，他就能够接收任何一种生活
11-30 67
注意到：灯泡状态周期是6。
基于A*算法的雷雨绕飞路径MATLAB实现
最新发布
2501_92729044的博客
11-30 132
本文提出了一种基于A算法的雷雨绕飞路径规划方法。该方法首先生成模拟雷雨天气图并进行二值化处理，识别危险区域；然后检测计划航路中需要绕飞的航段，通过A算法为每个航段生成左右绕飞候选路径；接着进行视距优化和平行路径拓展以提高安全性；最后整合各航段最优路径构建完整绕飞航路。实验结果表明，该方法能有效避开危险区域，生成安全且长度优化的绕飞路径。关键创新点包括：1) 结合雷达天气数据的精细化处理；2) 多候选路径生成与优化机制；3) 完整航路构建策略。可视化界面直观展示了各阶段路径规划效果。
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
子午的博客
11-30 477
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
二维vector完全指南1：从定义到增删改查
布心老混子
11-30 466
这个指南涵盖了二维vector的所有基本操作，掌握了这些就能熟练使用二维vector解决各种问题！：vector会自动管理内存，无需手动释放。：每行可以有不同数量的元素。：如果知道大致大小，使用。
算法基础篇：（十六）深度优先搜索（DFS）之递归型枚举与回溯剪枝初识
2301_79248256的博客
11-24 817
本文聚焦深度优先搜索（DFS）的递归型枚举与回溯剪枝，以枚举子集、组合型枚举、枚举排列、全排列四个洛谷经典例题为切入点，从问题描述、决策树分析、递归函数设计到代码实现逐步拆解。先阐释搜索本质及 DFS 与回溯、剪枝的关联，再通过具体案例讲解回溯的 “恢复现场” 操作与可行性、重复性等剪枝技巧，总结 DFS 递归型枚举 “画决策树 - 设计函数 - 实现回溯 - 添加剪枝” 的通用步骤，帮助读者理解并掌握 DFS 解决枚举类问题的核心方法，为进阶应用奠定基础。
深度学习助力图像增强：多算法与PyTorch复现
2508_94252591的博客
11-29 662
深度学习图像低光照增强算法低照度增强3DLUT,DeepUPT,DeepLPF,RetinexNet,Zero-DCE,EnlightenGAN,RetinexFormer等图像调色增强算法HDRNet,StarEnhancer,CSRNet等水下增强算法UWGAN,UIEGAN等pytorch架构复现，有代码和benchmark数据集在图像处理领域，针对不同场景和需求，有着各种各样的深度学习算法。
递归、搜索与回溯-综合练习：27.黄金矿工
要努力去发光，而不是被照亮~
11-30 253
递归、搜索与回溯-综合练习：27.黄金矿工解析
3381. 长度可被 K 整除的子数组的最大元素和
weixin_45256307的博客
11-30 240
3381. 长度可被 K 整除的子数组的最大元素和
Python结合Diffusion Transformer生成4K视频技术详解
Diffusion Transformer（简称DiT）作为当前最前沿的人工智能生成模型之一，正在深刻改变高分辨率视频内容的生成方式。本文围绕“Python + Diffusion Transformer”实现4K超高清视频生成的技术路径展开系统性阐述，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值