[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)

原创 已于 2024-03-24 00:39:44 修改 · 887 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读

于 2024-03-19 12:22:37 首次发布
本文记录了Open-Sora项目中复现Sora视频生成模型的训练过程，包括选择架构的效率考量，环境安装，数据下载（如HD-VG-130M和Inter4k）及处理，模型训练的挑战，以及遇到的Transformer Engine Extensions错误的解决方法。 
sudo -H pip install --upgrade youtube-dl -i https://pypi.doubanio.com/simple/

一、概况

        OpenAI 的 Sora 在生成一分钟高质量视频方面非常出色。然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。本报告描述了colossal-ai首次尝试训练基于 Transformer 的视频扩散模型。

选择架构的效率

        为了降低计算成本，我们希望利用现有的 VAE 模型。Sora 使用时空 VAE 来减少时间维度。然而我们发现目前还

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] Open-Sora 1、sora复现方案概览 (旧repo)
心宝的博客
03-06 1669
在Sora的技术报告中，Sora使用了一个视频压缩网络将各种尺寸的视频压缩成一个隐空间(latent space)的时空块序列(a sequence of patial temporal patch)，然后使用了Diffusion Transformer进行去噪，最后进行解码生成视频。Open-Sora将Sora可能使用的训练pipeline归纳为下图。
[论文笔记] Open-sora 2、视频数据集介绍 MSR-VTT
心宝的博客
03-06 1089
用于视频理解的大规模视频基准，特别是将视频翻译为文本的新兴任务。这是通过从商业视频搜索引擎收集 257 个热门查询（每个查询对应 118 个视频）来实现的。每个片段都由 1,327 名 AMT 工作人员注释了约 20 个自然句子。，涵盖了最全面的类别和最丰富的视觉内容，代表了最大的句子和词汇数据集。目前版本，MSR-VTT提供了。每个视频由4帧图片表示，并有5个文本描述。
Open-Sora: Democratizing Efficient Video Production for All 论文解读
NPU 研0
01-11 1583
Open-Sora是一个开源的视频生成模型,旨在生成高保真度的视频内容。它支持广泛的视觉生成任务,包括文本到图像、文本到视频和图像到视频的生成。该模型利用先进的深度学习架构和训练/推理技术,能够生成长达15秒、分辨率达720p、任意宽高比的灵活视频。其中的关键创新包括空间-时间扩散变换器(STDiT)和高度压缩的3D自编码器。通过这个项目,研究人员希望促进AI内容创作领域的创新、创造力和包容性。开源原则使Open-Sora民主地开放了所有的训练/推理/数据准备代码以及模型权重。
Open-Sora数据增强：5种提升训练数据多样性的关键技术方法
gitblog_00137的博客
11-14 678
Open-Sora作为开源视频生成领域的领先项目，其成功很大程度上得益于高效的数据增强技术。本文将深入解析Open-Sora如何通过多种技术手段提升训练数据的多样性，从而显著提升视频生成质量。🎬 ## 多模态文本-视频配对策略 Open-Sora采用先进的文本编码器处理多样化提示词，支持CLIP和T5两种主流模型。项目通过[max_length](https://link.gitcode.c
化是渐化，变是顿变：一窥 OpenAI Sora 相关技术的演进
Baihai_IDP的博客
03-01 977
近期，OpenAI 发布通用视觉大模型 Sora ，这也是继文本模型ChatGPT和图片模型Dall-E之后，又一极具颠覆性的大模型产品，人们重新思考了生成式 AI 在视觉内容创作领域的应用前景，内容创作工作流有望被颠覆。 我们今天要为大家分享的这篇博文，作者认为 Sora 代表了Transformer、NaViT、扩散模型等一系列视觉AI技术的融合创新，是迈向通用人工智能的重要一步。
高效复现类 Sora 视频生成方案开源！Open-Sora 最佳实践教程来啦！
2301_78285120的博客
03-19 3477
近期，HPC-AI Tech团队在GitHub上正式公开了Open-Sora项目（https://github.com/hpcaitech/Open-Sora），该项目致力于复现OpenAI的Sora模型核心技术，并已取得实质性进展。作为开源社区内的开创性工作，Open-Sora 率先提供了全球首个类Sora视频生成方案。我们也迅速跟进并深入学习了这一研究成果，以期促进技术交流与应用落地。喜欢这一块的小伙伴可以加入我们社群讨论，
OpenAI Sora的详细教程与使用指南
qq_52030698的博客
02-19 1703
OpenAI Sora是一种新的AI大模型，可以根据简单的文本提示生成逼真和富有想象力的60秒视频。用户可以通过以下步骤启用OpenAI Sora：
sora2大模型本地部署
10-12
引用[1]是关于Open-Sora-Plan，一个开源的Sora复现项目；引用[2]和[3]是关于阿里开源的Wanxiang-2.1模型，声称性能优于Sora。 用户提到了“Sora2大模型”，但Sora是OpenAI的模型，并没有官方发布的Sora2。引用中...
Open-Sora 开源项目教程
gitblog_01079的博客
08-08 1115
Open-Sora 的目录结构设计简洁明了，便于理解和操作。以下是对主要目录和文件的简介： - `docs`: 包含项目相关的文档和说明。 - `examples`: 提供示例数据和脚本，用于快速上手和测试模型功能。 - `opensora`: 存放核心代码，包括模型定义、训练和推理模块等。 - `scripts`: 包含用于运行训练、评估或推断的批处理脚本。 - `tools`: 提供辅助工具...
北大Open Sora：视频生成更强了，超10秒高分辨率，还支持华为芯片
idol24的博客
04-12 272
本文来源 机器之心 编辑：陈萍北大团队联合兔展发起的 Sora 复现计划，现在有了新成果。OpenAI 在今年年初扔出一项重大研究，Sora 将视频生成带入一个新的高度，很多人表示，现在的 OpenAI 一出手就是王炸。然而，众多周知的是，OpenAI 一向并不 Open，关于 Sora 的更多细节我们无从得知。谁能率先发布类 Sora 研究成了一个热门话题。今年 3 月初，北大团队联合兔展启...
Open-Sora-Plan模型可视化论文：视频生成决策过程解析
gitblog_00704的博客
09-06 997
视频生成模型的决策过程可视化是理解AI创作逻辑的关键窗口。本文以Open-Sora-Plan开源项目为研究对象，通过代码级分析揭示其2.7B参数模型的时空注意力机制运作原理。我们将从输入编码、注意力流形、决策路径三个维度，结合12组可视化实验数据，展示文本提示如何转化为动态视觉序列，为开发者提供可复现的决策过程调试方案。 ## 1. 模型架构与决策机制基础 Open-Sora-Plan的视频生...
多模态教案：Open-Sora 1.2 报告
weixin_40941102的博客
06-18 1213
Open-Sora 1.2 引入了一系列新的功能和改进，主要包括视频压缩网络、改进的模型训练流程、多阶段训练和评估方法等。通过结合文本和视觉内容，本教案旨在帮助学生深入理解这些技术，并通过实际操作来强化知识。
完整复现Sora，Open-Sora最新技术报告发布，提供完整训练代码、权重及数据处理工具
AIGCer的博客
01-06 2662
解决的问题人工视觉智能，特别是生成和模拟我们所见世界的能力，相较于语言能力的突破仍然滞后。现有视频生成模型在高保真视频内容生成、灵活视频合成及长时间视频生成方面面临诸多挑战。提出的方案本文引入Open-Sora，一个开源的视频生成模型，支持文本生成图像、文本生成视频以及图像生成视频等多种视觉生成任务。
【亲测免费】 Open-Sora 项目使用教程
gitblog_01061的博客
09-13 1198
Open-Sora 项目使用教程 1. 项目介绍 Open-Sora 是一个开源项目，旨在创建一个简单且可扩展的仓库，以复现 Sora（OpenAI 的文本到视频模型）。该项目由北京大学-兔展 AIGC 联合实验室共同发起，旨在通过开源社区的力量来复现 Sora 模型。当前版本支持使用华为昇腾 AI 计算系统进行完整的训练和推理，训练出的模型可以输出与业界标准相媲美的视频质量。 2. 项目快速启动...
Open-Sora：开源 Sora 复现方案，成本降低 46%
京娱AI
03-10 2060
​演示站点： https://ai.uaai.cn 官方论坛： www.jingyuai.com 京娱AI，​ 提供完整的 Sora 复现架构方案，包含从数据处理到训练推理全流程。支持动态分辨率，训练时可直接训练任意分辨率的视频，无需进行缩放。支持多种模型结构。由于 Sora 实际模型结构未知，用户可自行选择使用原始视频、VQVAE（视频原生的模型）、SD-VAE（图像原生的模型）进行训练。
【论文阅读】VGGT: Visual Geometry Grounded Transformer
eepii的博客
01-01 770
每张图像被切割成固定大小的补丁（Patches），并加上位置编码（Positional Encoding）和视角编码（View Encoding），以便让模型知道某个 Token 属于哪张图的哪个位置。骨干网络 (Transformer Backbone)：采用类似于 ViT（Vision Transformer）的架构。这意味着模型在这一阶段就已经在隐式地进行“特征匹配”和“三角测量”了。输入编码 (Tokenization)：模型接收。注：所有位姿预测均以第一张图为参考系。旋转误差：计算预测四元数。
【论文阅读】--PEACE：基于多模态大语言模型的地质图全息理解赋能框架
最新发布
我是个好人呀，O(∩_∩)O
01-06 984
摘要： 微软研究院提出PEACE框架（赋能地质地图整体理解的多模态大语言模型），通过GeoMap-Agent系统解决地质图智能分析难题。该系统包含三个核心模块：层次信息提取（HIE）采用分治策略处理高分辨率图像；领域知识注入（DKI）整合地质学专家知识；提示增强问答（PEQA）优化模型输出。配套发布的GeoMap-Bench基准包含124张地质图和3,864个标注问题，覆盖提取、定位、推理等五大能力维度。实验表明，该系统在USGS和CGS数据集上均显著优于基线模型，准确率提升30%以上。研究代码和数据集已开
论文笔记（一百一十七）WorldVLA Towards Autoregressive Action World Model Model
xzs1210652636的博客
12-31 1070
WorldVLA：一种自回归动作世界模型 本文提出WorldVLA模型，通过整合视觉-语言-动作(VLA)模型与世界模型，实现了动作与图像理解的统一框架。该模型采用三个独立分词器处理多模态输入，共享统一词表以支持跨模态生成。世界模型通过学习环境物理规律预测未来图像，提升动作生成能力；动作模型则基于图像观测生成动作序列，促进视觉理解。研究发现自回归动作生成存在误差累积问题，为此提出注意力掩码策略，在生成当前动作时有选择地遮蔽先前动作，有效缓解性能下降。实验表明，WorldVLA在LIBERO基准测试中抓取成功
Open-Sora 主项目镜像文件下载
Open-Sora 是一个开源项目，其镜像文件以压缩包形式（Open-Sora-main.zip）发布，包含了完整的项目源码和相关资源。该项目聚焦于构建和实现类 Sora 的生成式 AI 模型，属于深度学习与人工智能领域的前沿探索。Sora ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值