Open-Sora 开源了!

[论文笔记] Open-Sora 1、sora复现方案概览 (旧repo) 在Sora的技术报告中,Sora使用了一个视频压缩网络将各种尺寸的视频压缩成一个隐空间(latent space)的时空块序列(a sequence of patial temporal patch),然后使用了Diffusion Transformer进行去噪,最后进行解码生成视频。Open-Sora将Sora可能使用的训练pipeline归纳为下图。 阅读详情

本期推荐开源项目目录:

1. Open-Sora

2.  马斯克开源的大模型

3. 基于 AI 的软件工程师


01 Open-Sora

首先, Open-Sora 不是 Open AI 发布的 Sora 开源版。而是由 Colossal-AI 组织发起的一个开源项目,旨在高效地制作高质量视频内容,并使模型、工具和内容对所有人开放。

这个项目遵循开源原则,不仅民主化了对先进视频生成技术的访问,还提供了一个简化和用户友好的平台,以简化视频制作的复杂性。通过 Open-Sora,项目团队希望激发内容创作领域的创新、创造力和包容性。

如下是几个 Open-Sora 生成视频效果,由于 Open-Sora 仍处于早期阶段,和 Sora 放出来的视频效果还有所差距。

项目团队正在努力提高模型的质量和文本对齐能力。这个项目对于对视频生成和内容创作感兴趣的研究人员和开发者来说是一个宝贵的资源。它不仅提供了模型的实现,还提供了运行和测试模型所需的所有工具和指令。​

开源地址:https://github.com/hpcaitech/Open-Sora

图片

02 马斯克开源的大模型

grok-1 是由 XAI 组织维护开源的,目前已经获得了 43.2K 的 Star。该开源项目提供了 JAX 示例代码,用于加载和运行 Grok-1 开放权重模型。

图片

该模型共有 3140亿 的参数,混合 8 个专家(Moe),当你想使用时,可以通过磁力链接使用Torrent客户端下载,或者直接使用HuggingFace 🤗 Hub下载模型权重并将其放置在 checkpoints 目录下的 ckpt-0 文件夹中。安装必要的依赖后,通过运行 python run.py 来测试代码。

开源地址:https://github.com/xai-org/grok-1

图片

03 基于 AI 的软件工程师

这个开源项目名为 Devika,是一个由 AI 驱动的软件工程师,具备理解高层次人类指令、分解任务、研究相关信息和编写代码的能力。

Devika 旨在通过提供一个能够执行复杂编码任务的 AI 配对程序员来革新软件开发的方式。无论是创建新功能、修复错误还是从零开始开发整个项目,Devika 都能够提供协助。

支持 Claude 3、GPT-4、GPT-3.5 和通过 Ollama 使用的本地语言模型(LLMs),先进的 AI 规划和推理能力,无缝的网络浏览和信息收集,支持多种编程语言的代码编写。

开源地址:https://github.com/stitionai/devika

图片

FPGA工程师面试——FPGA基础知识24题 线与逻辑是两个输出信号相连可以实现与的功能。在硬件上,要用OC门(集电极开路与非门)来实现,由于不用OC门可能使灌电流过大,而烧坏逻辑门,因此在输出端口应加一个上拉电阻。 阅读详情

相关推荐

PIN限幅二极管在接收机中的应用

本文介绍了接收机保护限幅器的工作原理及应用,重点阐述了PIN二极管在雷达收发机中的关键作用。文章指出,限幅器能有效保护接收机灵敏元件免受大功率信号损害,主要通过反射而非耗散功率来实现保护功能。文章详细分析了PIN二极管的层结构特性及其阻抗变化机制,解释了多级限幅器的设计原理(包括清理级和粗限幅器的配合使用),并介绍了通过添加检波二极管降低阈值水平的方法。最后指出,实际应用中限幅器通常采用3级或更少的设计。

weixin_49761275的博客 2370

高效复现类 Sora 视频生成方案开源!Open-Sora 最佳实践教程来啦!

近期,HPC-AI Tech团队在GitHub上正式公开了Open-Sora项目(https://github.com/hpcaitech/Open-Sora),该项目致力于复现OpenAI的Sora模型核心技术,并已取得实质性进展。作为开源社区内的开创性工作,Open-Sora 率先提供了全球首个类Sora视频生成方案。我们也迅速跟进并深入学习了这一研究成果,以期促进技术交流与应用落地。喜欢这一块的小伙伴可以加入我们社群讨论,

2301_78285120的博客 3707

SimNow模拟环境实战:用vnpy_ctp连接期货市场的5个关键配置步骤

本文提供了一份详细的量化交易实战指南,重点讲解如何使用vnpy_ctp插件连接SimNow期货模拟环境的5个关键配置步骤。内容涵盖SimNow环境选择、vnpy_ctp核心参数解析、实战连接脚本编写、深度排错技巧以及向实盘迁移的准备,旨在帮助量化交易开发者快速搭建可靠的测试环境,避免常见陷阱。

weixin_29063035的博客 1271

Open-Sora:开源 Sora 复现方案,成本降低 46%

​演示站点: https://ai.uaai.cn 官方论坛: www.jingyuai.com 京娱AI,​ 提供完整的 Sora 复现架构方案,包含从数据处理到训练推理全流程。支持动态分辨率,训练时可直接训练任意分辨率的视频,无需进行缩放。支持多种模型结构。由于 Sora 实际模型结构未知,用户可自行选择使用原始视频、VQVAE(视频原生的模型)、SD-VAE(图像原生的模型)进行训练。

京娱AI 2168

STC51单片机串口多字节数据接收的优化策略

本文深入探讨了STC51单片机串口多字节数据接收的优化策略。针对数据丢包、粘包等常见痛点,核心思路是采用“缓冲队列+定时器超时”模式,将实时处理转变为“先收纳,后处理”。文章详细讲解了硬件初始化、中断服务程序优化(快速入队与激活超时裁判)以及主循环的非阻塞设计,并进阶介绍了环形缓冲区实现与错误处理,旨在构建稳定可靠的串口通信系统。

weixin_29264201的博客 373

AMBA总线—APB总线协议详解

文章目录一、APB总线介绍1.1.什么是APB总线1.2.典型的基于 AMBA 总线的系统架构1.3.APB信号列表(重点)二、APB总线传输(时序)2.1.APB 状态机2.2.写操作(重要)2.3.读操作(重要)2.4.APB组件接口(重要)2.4.1.APB Bridge框图2.4.2.APB Slave框图三、APB到AHB的接口3.1.读操作3.2.写操作3.3.读写交替传送 一、APB...

Mr.翟的博客 4万+

终于等到open Sora开源,解读open- Sora1.0文生视频模型

Colossal-AI团队全面开源了名为「Open-Sora 1.0」的视频生成模型,该模型采用类Sora架构,基于Diffusion Transformer (DiT) 架构设计,并扩展到视频数据领域。同时,他们在训练效率上也取得了显著成果,借助Colossal-AI加速系统,不仅降低了训练成本,还在视频训练过程中实现了高效的加速效果。3. 高质量视频数据微调:针对高分辨率、高质量和更长时长的视频数据进行微调,显著提升了视频生成的质量,实现了从低分辨率向高分辨率、短时长向长时长的高效过渡。

大F子的智能小课 1126

Win11 24H2家庭版共享打印机失败?别慌,一个批处理脚本搞定所有设置

本文提供了Win11 24H2家庭版共享打印机失败的解决方案,通过一个批处理脚本自动修复所有设置问题。脚本包含安装组策略组件、修改关键注册表项等操作,帮助用户快速恢复打印机共享功能,适用于普通家庭用户。

weixin_30632089的博客 418

视频生成Sora的从零复现:从Latte、Open-Sora(含1.0及其升级版)到StreamingT2V

目前比较接近sora的开源路线是:Stable Video Diffusion(关于SVD的介绍请看的第4部分]) + Stable Diffusion3的结构(SD3的详细介绍见的第4部分。

结构之法 算法之道 9138

GAMIT基线解算实战:从RINEX数据准备到精度报告解读(附2024年tables更新攻略)

本文详细解析了2024年GAMIT基线解算全流程,从RINEX数据准备到精度报告解读,特别更新了tables配置攻略。涵盖工程目录设计、数据预处理、关键配置文件更新及基线解算策略优化,帮助用户掌握高精度GNSS数据处理技术,提升解算效率和结果可靠性。

weixin_42520374的博客 305

基于FPGA的时间数字转换(TDC)设计(五:基于Carry4的高精度TDC设计)

基于FPGA的时间数字转换(TDC)设计,此为第五篇:基于Carry4的高精度TDC设计。提供工程文件及MATLAB测试分析代码

sdau2005的博客 8800

震撼!Open-Sora全面开源了!

不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红,在一众文生视频模型中突出重围,成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后,Colossal-AI 团队「Open-Sora 1.0」,涵盖了,包括**数据处理、所有训练细节和模型权重,**携手全球 AI 热爱者共同推进视频创作的新纪元。先睹为快,我们先看一段Open-Sora 1.0 生成的都市繁华掠影。

python1234_的博客 1747

RAGFlow 系列教程 第三课:后端服务入口与请求生命周期

本文深入解析RAGFlow v0.25.0后端核心机制,重点介绍了Quart框架选型原因和服务启动流程。RAGFlow选择Quart作为Web框架,主要基于其异步能力对LLM调用的支持、Flask生态兼容性以及长响应超时处理优势。文章详细拆解了服务启动的8个关键步骤,从日志初始化到HTTP服务启动,并分析了配置加载、数据库初始化等核心环节。通过源码分析揭示了RAGFlow如何实现动态API注册、双重认证体系等关键技术点,为深入理解该系统的请求处理生命周期提供了基础。

weixin_43674738的博客 187

没等来Sora,等来了Open-Sora全面开源!

转自:机器之心不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红,在一众文生视频模型中突出重围,成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后,Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模型 「Open-Sora 1.0」,涵盖了整个训练流程,包括数据处理、所有训练细节和模型权重,携手全球 AI 热爱者共同推进视频创作...

fengdu78的博客 128

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

等来了Open-Sora全面开源!

Datawhale分享开源:Open-Sora,来源:机器之心不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红,在一众文生视频模型中突出重围,成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后,Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模型 「Open-Sora 1.0」,涵盖了整个训练流程,包括数据处理、所有训练细...

Datawhale 387

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Open-Sora全面开源!

机器之心发布不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红,在一众文生视频模型中突出重围,成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后,Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模型 「Open-Sora 1.0」,涵盖了整个训练流程,包括数据处理、所有训练细节和模型权重,携手全球 AI 热爱者共同推进视频创作的...

机器学习算法与Python学习 204

号外!Open-Sora 已开源

团队还没停歇,研究了一堆高大上的名词,比如DiT、Latte啥的,都是为了找出来做视频最棒的方法。提供了视频剪辑和字幕的工具,还有数据处理的说明,就连怎么收集数据他们都给你准备好了。Open-Sora它是个开源项目,由一个叫YangYou1991的团队搞出来的,主要干的事情就是让你能在家里动动鼠标键盘,就能造出视频来。想象一下,不用出门,不用拍摄,电脑前坐好,就能搞定2到5秒的小视频,分辨率还挺给力的,512x512的。Open-Sora给了咱们一个工具,但怎么用,能用出什么花样,就看你自己了。

朱雀随云记的博客 402

Datawhale | 等来了Open-Sora全面开源!(建议阅读!)

为了进一步降低 Sora 复现的门槛和复杂度,Colossal-AI 团队在代码仓库中还提供了便捷的视频数据预处理脚本,让大家可以轻松启动 Sora 复现预训练,包括公开视频数据集下载,长视频根据镜头连续性分割为短视频片段,使用开源大语言模型 LLaVA [7] 生成精细的提示词。作者团队表示,他们将会继续维护和优化 Open-Sora 项目,预计将使用更多的视频训练数据,以生成更高质量、更长时长的视频内容,并支持多分辨率特性,切实推进 AI 技术在电影、游戏、广告等领域的落地。

csdn_xmj的博客 1115

开源项目 Open-Sora,全新升级!

对此感兴趣的开发者现在可以利用这些资源,结合技术报告和代码,来高效地处理和优化自己的数据集。Open-Sora 在开源社区悄悄更新了,现在支持长达单镜头 16 秒的视频生成,分辨率最高可达 720p,并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。更酷的是,Open-Sora 依旧全部开源,包含最新的模型架构、最新的模型权重、多时间 / 分辨率 / 长宽比 / 帧率的训练流程、数据收集和预处理的完整流程、所有的训练细节、demo 示例 和 详尽的上手教程。

人工智能讲师分享前沿技术 564

Open-Sora 2.0 重磅开源!

潞晨科技正式推出—— 一款全新开源的 SOTA 视频生成模型,仅 20 万美元(224 张 GPU)成功训练商业级 11B 参数视频生成大模型。开发高性能的视频生成模型通常耗资高昂:Meta 的视频模型训练需要 6000 多张 GPU 卡片,投入数百万美元。在多项关键指标上,它与动辄百万美元训练成本的模型分庭抗礼,全面提升视频生成的可及性与可拓展性。今天,视频生成领域迎来开源革命!Open-Sora 2.0——全新开源的视频生成模型正式发布。仅用。

weixin_31608325的博客 138
上一篇: 腾讯一面凉了。。。。
下一篇: 端口号都说不明白,别说自己懂网络!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值