[论文笔记] Open-Sora 1、sora复现方案概览 (旧repo)

已于 2024-03-18 20:47:25 修改
阅读量1.6k 收藏
点赞数 32
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-03-06 16:56:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trance95/article/details/136460257
本文档介绍了Open-Sora项目，这是一个针对OpenAI Sora的开源复现，旨在提供Sora算法的完整复现流程，包括数据处理、性能优化和训练推理。项目特点包括动态分辨率支持、多模型结构和多种视频压缩方法。在数据准备部分，详细说明了使用MSR-VTT数据集和其他自定义数据集的方法。此外，文中还分享了训练过程中的经验与解决方案。

https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Data.md

GitHub - hpcaitech/Open-Sora: Unofficial implementation of OpenAI's Sora

        目前两个开源的复现sora的git，其中colossal用的是STDiT架构，北大用的是VideoGPT(vqvae+gpt)。

Open-Sora已涵盖：

  • 提供完整的Sora复现架构方案，包含从数据处理到训练推理全流程。

  • 支持动态分辨率，训练时可直接训练任意分辨率的视频，无需进行缩放。

  • 支持多种模型结构。由于

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)
心宝的博客
03-19 877
然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。通过 VAE 下采样 4 倍和补丁大小下采样 2 倍，我们有 1440x1024≈1.5M 令牌。这与 Latte 论文中的变体 3 类似。然而，我们不控制这些变体的类似数量的参数。为了降低计算成本，我们希望利用现有的 VAE 模型。的 2x4x4 VAE 在我们的实验中质量较低。因此，出于效率考虑，我们选择STDiT（顺序）。的 4x4x4 VAE 不是开源的，而。没有开源的高质量时空VAE模型。
Open-Sora：开源 Sora 复现方案，成本降低 46%
京娱AI
03-10 2046
​演示站点： https://ai.uaai.cn 官方论坛： www.jingyuai.com 京娱AI，​ 提供完整的 Sora 复现架构方案，包含从数据处理到训练推理全流程。支持动态分辨率，训练时可直接训练任意分辨率的视频，无需进行缩放。支持多种模型结构。由于 Sora 实际模型结构未知，用户可自行选择使用原始视频、VQVAE（视频原生的模型）、SD-VAE（图像原生的模型）进行训练。
3分钟上手Open-Sora架构搜索：自动生成你的专属视频模型
最新发布
gitblog_00716的博客
10-02 895
你是否还在为视频生成模型调参熬夜？是否因模型架构选择困难而停滞不前？Open-Sora的自动架构搜索功能让普通用户也能一键获得最优视频模型，无需专业知识即可实现电影级视频制作。本文将带你掌握： - 架构搜索核心原理与应用场景 - 3步完成模型自动优化的实操指南 - 不同场景下的架构配置方案对比 - 进阶调参技巧与性能优化策略 ## 架构搜索如何解决视频生成痛点 传统视频模型开发需要人工设计网络...
Open-Sora 1.1 解读：完全开源的高效复现类Sora视频生成方案！
zengxiaojian2的博客
11-23 1511
tab=readme-ov-file#open-sora-10-model-weights） [博客] （https://hpc-ai.com/blog/open-sora-v1.0）[报告]（https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_01.md）我们的数据收集计划可以在 datasets.md （https://github.com/hpcaitech/docs/datasets.md）中找到。
Open-Sora: Democratizing Efficient Video Production for All 论文解读
NPU 研0
01-11 1561
Open-Sora是一个开源的视频生成模型,旨在生成高保真度的视频内容。它支持广泛的视觉生成任务,包括文本到图像、文本到视频和图像到视频的生成。该模型利用先进的深度学习架构和训练/推理技术,能够生成长达15秒、分辨率达720p、任意宽高比的灵活视频。其中的关键创新包括空间-时间扩散变换器(STDiT)和高度压缩的3D自编码器。通过这个项目,研究人员希望促进AI内容创作领域的创新、创造力和包容性。开源原则使Open-Sora民主地开放了所有的训练/推理/数据准备代码以及模型权重。
Open-Sora
AI工程化、开源分享、文档翻译、代码笔记
07-20 4288
一、关于 Open-Sora 📰 资讯 最新的 Demo 🎥 二、安装 1、从源头安装 2、使用Docker 三、模型权重 Open-Sora 1.2 模型权重 四、Gradio演示 1、本地部署 2、入门 五、推理 1、Open-Sora 1.2 命令行推理 2、序列并行推理 3、GPT-4o 快速细化 六、数据处理 七、训练 Open-Sora 1.2 训练 八、评估 九、VAE 训练与评估
精选资源
open-sora 镜像Open-Sora-main.zip
03-27
这个镜像文件 "Open-Sora-main.zip" 包含了Open-Sora的核心代码库和其他必要的资源，方便用户进行开发和实验。下面我们将深入探讨Open-Sora的相关知识点。 1. **软件无线电（Software Defined Radio, SDR）**： ...
Open-Sora: 让所有人都能轻松制作高效视频,模型代码全开源！
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
01-14 1104
数据来源与处理利用多个开放数据集（如Webvid-10M、Panda-70M等）生成30M个视频剪辑，确保模型训练的可重复性。数据预处理采用完整的管道，包括场景切割、视频过滤和文本生成，以确保高质量的视频文本对。模型架构使用3D自编码器对视频进行压缩，减少计算负担，并通过文本编码器处理文本输入。采用空间-时间注意力机制，使得模型在生成视频时能够同时考虑空间和时间信息。训练策略采用多阶段训练策略，分为三个阶段以优化训练效率。
这应该是全网第一篇全面解读OpenAI Sora报告的文章，精读报告：Video generation models as world simulators
Alex
02-16 3326
今天是2024年2月16号，大年初七，年还没过完，早晨起来朋友圈就被Sora刷屏了。本来以为没啥，都是公众号或者视屏啥的，都没点开看，直到看到我导也发了Sora的文章，我就知道这个事情不简单了。先来看一段非常炸裂的效果，就是下面这个视频。真的，如果你不跟我说这是AI生成的，我还以为是哪个电影的镜头呢。这场景，这运镜，这清晰度，放大之后连脸上的斑都清晰可见，Oh my God，现实不存在了，现实真的不存在了。Tokyo walk。
高效复现类 Sora 视频生成方案开源！Open-Sora 最佳实践教程来啦！
2301_78285120的博客
03-19 3433
近期，HPC-AI Tech团队在GitHub上正式公开了Open-Sora项目（https://github.com/hpcaitech/Open-Sora），该项目致力于复现OpenAI的Sora模型核心技术，并已取得实质性进展。作为开源社区内的开创性工作，Open-Sora 率先提供了全球首个类Sora视频生成方案。我们也迅速跟进并深入学习了这一研究成果，以期促进技术交流与应用落地。喜欢这一块的小伙伴可以加入我们社群讨论，
用 Open-Sora 高效创作视频，让创意触手可及
olllo.top
03-21 523
开源项目Open-Sora 横空出世！
Open-Sora1.2环境搭建&推理测试
zzq1989_的专栏
07-08 2895
在上一个版本基础上，引入了视频压缩网络（Video Compression Network）、更优的扩散模型算法、更多的可控性，并利用更多的数据训练出了 1.1B 的扩散生成模型。Stable Diffusion 3，最新的扩散模型，通过采用了 rectified flow 技术替代 DDPM，显著提升了图片和视频生成的质量。无意间翻到其开源网站上，发现2024.6.17发布1.2版本了，那还是过来看看有什么长足的进步吧，呦呵，现在支持720P 高清视频，质量和生成时长也有了突破性进展。
Open-Sora：开源AI视频生成的新星
码上飞扬的博客
04-03 1832
Open-Sora为AI视频生成领域带来了新的可能性，其开源特性使得更多开发者和研究者能够参与改进和扩展。如果你对AI视频生成感兴趣，不妨尝试Open-Sora，并加入社区贡献你的力量！🔗。
终于等到open Sora开源，解读open- Sora1.0文生视频模型
大F子的智能小课
03-18 1048
Colossal-AI团队全面开源了名为「Open-Sora 1.0」的视频生成模型，该模型采用类Sora架构，基于Diffusion Transformer (DiT) 架构设计，并扩展到视频数据领域。同时，他们在训练效率上也取得了显著成果，借助Colossal-AI加速系统，不仅降低了训练成本，还在视频训练过程中实现了高效的加速效果。3. 高质量视频数据微调：针对高分辨率、高质量和更长时长的视频数据进行微调，显著提升了视频生成的质量，实现了从低分辨率向高分辨率、短时长向长时长的高效过渡。
国产Sora全面开源，Open-Sora公开所有训练细节和模型权重，开箱即用
nulifancuoAI的博客
03-19 2288
在近期，国产技术团队Colossal-AI发布了引人注目的消息：他们全面开源了一个类似于OpenAI Sora的视频生成模型——Open-Sora 1.0。这一开源项目不仅包含了全部的训练细节和模型权重，而且其训练成本仅需1万美元，实现了64块GPU的高效复现。此举标志着在文生视频领域，国产技术已迈出了重要的一步，开启了视频创作新纪元的大门。Open-Sora 1.0继承并超越了OpenAI Sora的优异视频生成效果，通过提供一个低成本且高效的训练及推理复现流程，极大降低了技术门槛。
Open-Sora 开源了！
热门推荐
IT界那些事儿
03-26 1万+
本期推荐开源项目目录：2. 马斯克开源的大模型3. 基于 AI 的软件工程师。
（一文读懂）【OPEN AI SORA技术报告】视频生成模型SORA作为世界模拟器-Video generation models as world simulators
u011376987的博客
02-26 2509
我们探索了在视频数据上进行大规模生成模型的训练。具体来说，我们联合训练了文本条件扩散模型，这些模型适用于不同时长、分辨率和纵横比的视频和图像。我们利用了一种基于Transformer的架构，该架构可以对视频和图像的潜在编码进行时空块操作。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果表明，扩展视频生成模型是构建通用物理世界模拟器的一条有前景的途径。本技术报告主要关注两个核心方面：(1) 我们提出的方法，该方法能够将各种类型的视觉数据转化为统一表示，从而支持生成模型的大规模训练；
北大领衔开源复现 Open-Sora，生成 10 秒高清视频，支持华为 AI 芯片
AI科技大本营
04-08 2252
作者| 王启隆责编| 唐小引出品 | AI 科技大本营（ID：rgznai100）从今年 2 月，OpenAI 用一个意为“天空”的日语词汇“Sora”引爆了技术圈，并为视频生成技术立下了一道新标杆：将简短的文本描述转换成一分钟的高清视频片段。随后的两个月里，各路神仙试图从“CloseAI”的各类发布渠道中捕捉 Sora 零碎的研究细节，时至今日仍未降温。这期间，北京大学和兔展智能在三月份联合...
VGM之Sora：Open-Sora的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-20 4494
​ VGM之Sora：Open-Sora的简介、安装和使用方法、案例应用之详细攻略 目录 Open-Sora的简介 Open-Sora的安装和使用方法 Open-Sora的案例应用 Open-Sora的简介 2024年3月18日，Colossal-AI团队重磅发布Open-Sora项目是一项致力于高效制作高质量视频，并使所有人都能使用其模型、工具和内容的计划。 通过采用开源原则，Open-Sora 不仅实现了先进视频生成技术的低成本普及，还提供了一个精简且用户友好的方案，简
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值