还得是开源！潞晨Open-Sora技术路线公开，一键生成16秒720p视频，质量更高训练成本更低

16秒720p高清视频，现在人人可免费一键生成！

无论是精致的人物肖像：

还是炫酷的科幻大片：

△画质已压缩

亦或是生动有趣的动画：

流畅的变焦效果：

△画质已压缩

以上生成效果，全部来自免费开源的潞晨Open-Sora。

从3月发布以来，潞晨Open-Sora一直热度不减，GitHub上揽星已经17.5K。

（GitHub：https://github.com/hpcaitech/Open-Sora）

英伟达入股的AI公司Lambda Labs，也基于潞晨Open-Sora模型权重打造了数字乐高宇宙。

而在公布模型权重和训练细节后，潞晨Open-Sora还在持续开源中。

最近，其幕后团队在GitHub上晒出了技术路线，进一步披露了最新版本模型的训练核心内容报告地址：https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md。

训练成本再降低

最新版本的潞晨Open-Sora在此前基础上引入了视频压缩网络（Video Compression Network）、更优扩散模型算法、更多的可控性，并利用更多数据训练出了1.1B扩散生成模型。

能在保障模型输出质量的同时，降低计算资源的消耗。

其中，引入视频压缩网络是OpenAI的Sora同款方法。它能在时间维度上进行4倍压缩，无需抽帧，可以使用原始FPS生成视频。

考虑到训练一个3D VAE的成本太高，团队尝试让模型重新利用在2D VAE中学习到的知识。在2D VAE压缩后，时间维度上的相邻特征仍然高度相关。

因此团队提出了一个简单的视频压缩网络（即VAE），它能首先在空间维度上实现8x8倍的压缩，再从时间维度上压缩4倍。

该网络框架如下：

具体训练过程分为三步：

1、前380K步，在8个GPU上训练，冻结2D VAE的权重，只训练3D VAE部分，即对时间维度的压缩重建。训练目标为对2D VAE encoder输出的特征进行时间维度的压缩重建，并添加一个identity loss使得新训练的3D VAE输出的特征尽可能和原始2D VAE的特征相似。团队发现加上这种identity loss可以很快让整个VAE达到良好的压缩重建性能，并在下一阶段收敛速度快很多。

2、接下来的260K步，移除掉identity loss，继续单独训练3D VAE部分。

3、最后540K步，由于发现只重建2D VAE特征并不能进一步提升性能，所以解冻了2D VAE权重，开始训练整个VAE模型来重建原始视频。该阶段在24个GPU上完成。

其中前两个阶段的训练数据使用20%图像和80%视频，视频用17帧进行训练；最后一个阶段用34帧的随机帧数视频进行训练，使VAE模型可以压缩任意长度的视频。训练和推理的代码已开源。

Rectified flow和模型适配

另外，基于最新Stable Diffusion 3的开源成果，提供了一套完整的训练解决方案。

Stable Diffusion 3通过采用了rectified flow技术替代 DDPM，显著提升了图片和视频生成的质量。

潞晨Open-Sora团队带来的技术包括：

• 简单易用的整流（rectified flow）训练
• 用于训练加速的 Logit-norm 时间步长采样
• 基于分辨率和视频长度的时间步长采样

通过这些技术的整合，不仅能够加快模型的训练速度，还能显著减少推理阶段的等待时间，确保用户体验的流畅性。

此外，这套训练方案还支持在推理过程中输出多种视频宽高比，满足了多样化场景下的视频素材需求，为视频内容创作者提供了更加丰富的创作工具.

此外，技术报告中还透露了更多模型训练的核心细节，包括数据清洗和调优的使用技巧。同时团队构建了更完善的模型评估体系，保障模型的稳健性和泛化能力。

通过提供可自行一键部署的Gradio应用，并支持调节输出的运动分数、美学分数和镜头移动方式等参数，还能一键通过GPT-4o 自动修改指令并支持中文输入。

传送门

文生视频爆火后，潞晨Open-Sora持续开源为该领域发展做出了贡献。

潞晨Open-Sora可零门槛免费获得模型权重、全套训练代码，沉浸式游戏、创意广告、制作影视大片……都能来试试~

最后，想要了解潞晨Open-Sora更多详情，可访问GitHub主页：
https://github.com/hpcaitech/Open-Sora

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。