全网独一份《OpenAI Sora 技术报告详解》!

AIGC|OpenAI文生视频大模型Sora技术拆解(含全网资料汇总) OpenAI出手就是王炸!!2月16日,OpenAI 正式发布其首个文生视频模型 Sora,继 Runway、Pika、谷歌和 Meta 之后,OpenAI 终于加入视频生成领域的战争,无疑是对全球AI视频 Startups 的一次降维打击!它有多震撼呢?这么说吧,上一次这么疯狂的刷屏可能还是人类第一次见到ChatGPT的时候。可以用三个词来总结:“60s超长长度”、“单视频多角度镜头”和“世界模型”!!官方地址:https://openai.com/sora技术报告:https://openai.com/ 阅读详情

大家好,我是GG哥。

Sora 详细的技术报告发布了,相关从业者可能都需要看看。

cc3852c75ef85edd04ec8a60e0fcc99b.png

里面有 Open AI的训练思路以及 Sora 详细的技术特性,我从里面找了一些要点,详细的可以去看完整内容。

简单来说 Sora 的训练量足够大也产生了类似涌现的能力。

技术特点

三维空间的连贯性:Sora可以生成带有动态相机运动的视频。随着相机移动和旋转,人物和场景元素在三维空间中保持连贯的运动。

模拟数字世界:Sora还能模拟人工过程,如视频游戏。Sora能够同时控制Minecraft中的玩家,并高保真地渲染游戏世界及其动态。通过提及“Minecraft”的提示,可以零样本地激发Sora的这些能力

长期连续性和物体持久性:对视频生成系统来说,Sora通常能够有效地模拟短期和长期的依赖关系。同样,它能在一个样本中生成同一角色的多个镜头,确保其在整个视频中的外观一致。

与世界互动:Sora有时能够模拟对世界状态产生简单影响的行为。例如,画家可以在画布上留下随时间持续的新笔触,或者一个人吃汉堡时留下咬痕。

训练过程

Sora 的训练受到了大语言模型(Large Language Model)的启发。这些模型通过在互联网规模的数据上进行训练,从而获得了广泛的能力。

Sora实际上是一种扩散型变换器模型(diffusion transformer)。

首先将视频压缩到一个低维潜在空间19中,然后将这种表现形式分解成时空区块,从而将视频转换为区块。

训练了一个用于降低视觉数据维度的网络。这个网络以原始视频为输入,输出在时间和空间上都被压缩的潜在表示。Sora在这个压缩的潜在空间上进行训练,并在此空间中生成视频。还开发了一个对应的解码器模型,它能将生成的潜在表示映射回到像素空间。

对于给定的压缩输入视频,提取一系列时空区块,它们在变换器模型中充当标记(token)。这种方案同样适用于图像,因为图像本质上是单帧的视频。基于区块的表示方法使Sora能够针对不同分辨率、持续时间和纵横比的视频和图像进行训练。在推理过程中,可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的大小。

随着 Sora 训练计算量的增加,样本质量有了显著提升。

Sora训练时没有对素材进行裁切,使得Sora能够直接为不同设备以其原生纵横比创造内容。

针对视频的原生纵横比进行训练,还可以提高构图和取景的质量。

训练文本到视频的生成系统需要大量配有相应文本提示的视频。应用了在DALL·E 3中引入的重新字幕技术到视频上。

与DALL·E 3相似,也利用了GPT技术,将用户的简短提示转换成更详细的提示,然后发送给视频模型。Video generation models as world simulators

论文关键点

OpenAI 的研究论文《Video generation models as world simulators》探讨了在视频数据上进行大规模训练生成模型的方法。这项研究特别关注于文本条件扩散模型,这些模型同时在视频和图像上进行训练,处理不同时长、分辨率和宽高比的数据。研究中提到的最大模型 Sora 能够生成长达一分钟的高保真视频。以下是论文的一些关键点:

  1. 统一的视觉数据表示:研究者们将所有类型的视觉数据转换为统一的表示,以便进行大规模的生成模型训练。Sora 使用视觉补丁(patches)作为其表示方式,类似于大型语言模型(LLM)中的文本标记。

  2. 视频压缩网络:研究者们训练了一个网络,将原始视频压缩到一个低维潜在空间,并将其表示分解为时空补丁。Sora 在这个压缩的潜在空间中进行训练,并生成视频。

  3. 扩散模型:Sora 是一个扩散模型,它通过预测原始“干净”的补丁来从输入的噪声补丁中生成视频。扩散模型在语言建模、计算机视觉和图像生成等领域已经显示出了显著的扩展性。

  4. 视频生成的可扩展性:Sora 能够生成不同分辨率、时长和宽高比的视频,包括全高清视频。这种灵活性使得 Sora 能够直接为不同设备生成内容,或者在生成全分辨率视频之前快速原型化内容。

  5. 语言理解:为了训练文本到视频生成系统,需要大量的视频和相应的文本标题。研究者们应用了在 DALL·E 3 中引入的重新描述技术,首先训练一个高度描述性的标题生成器,然后为训练集中的所有视频生成文本标题。

  6. 图像和视频编辑:Sora 不仅能够基于文本提示生成视频,还可以基于现有图像或视频进行提示。这使得 Sora 能够执行广泛的图像和视频编辑任务,如创建完美循环的视频、动画静态图像、向前或向后扩展视频等。

  7. 模拟能力:当视频模型在大规模训练时,它们展现出了一些有趣的新兴能力,使得 Sora 能够模拟物理世界中的某些方面,如动态相机运动、长期一致性和对象持久性等。

  8. 讨论:尽管 Sora 展示了作为模拟器的潜力,但它仍然存在许多局限性,例如在模拟基本物理交互(如玻璃破碎)时的准确性不足。研究者们认为,继续扩展视频模型是开发物理和数字世界模拟器的有前途的道路。

这篇论文提供了对 Sora 模型的深入分析,展示了其在视频生成领域的潜力和挑战。通过这种方式,OpenAI 正在探索如何利用 AI 来更好地理解和模拟我们周围的世界。

论文报告:https://openai.com/research/video-generation-models-as-world-simulators。

最后给大家整理了一份超级详细的Sora学习资料,放在微信==

0f6b2553c25543ab849c860c95bd609a.png

40d14a8d21740ab849432e2cae53f6e0.png

点击关注下面的小卡片,关注后发送【sora】即可获取

Sora 全网最全资料 OpenAI 的官方解释了在视频数据基础上进行大规模训练生成模型的方法。我们下面会摘取其中的关键部分罗列让大家快速get重点。喜欢钻研的伙伴可以到官网查看技术报告:【名称】:右军【坐标】:成都☀️ 前蚂蚁P9、TGO成都董事会成员AI破局俱乐部初创合伙人老徐八年合伙人、玩赚合伙人、7年觉醒合伙人靠谱销冠群销冠、理白合伙人老马、飞巴、私域文姐、胜哥、王子、江工合伙人蓝蓝、学富合伙人、斑马合伙人(峰兄)“技术琐话”主理人、中生代技术社区创始人🎁【成绩】 阅读详情

相关推荐

Sora专辑|一锤降维!解密OpenAI超级视频模型Sora技术报告,虚拟世界涌现了

我在15分钟内制作了这部20年代的预告片,使用了OpenAI Sora的片段,David Attenborough在Eleven Labs上的配音,并在iMovie上从YouTube上采样了一些自然音乐。其中包括一只毛茸茸的棕色怪物,一只光滑的黑色怪物长着天线,还有一只绿色的带斑点怪物和一只小巧的带波点怪物,它们在一个欢快的场景中相互玩耍。因此,视频模型Sora是一个扩散模型;而Sora与它们不同,它是一种通用的视觉数据模型,能够生成各种持续时间、宽高比和分辨率的视频和图片,甚至长达一分钟的高清视频。

weixin_68987230的博客 910

OpenAI超级视频模型Sora技术报告解读,虚拟世界涌现了

昨天白天,「现实不存在了」开始全网刷屏。「我们这么快就步入下一个时代了?Sora简直太炸裂了」。「这就是电影制作的未来」!谷歌的Gemini Pro 1.5还没出几个小时的风头,天一亮,全世界的聚光灯就集中在了OpenAI的Sora身上。Sora一出,众视频模型臣服。就在几小时后,OpenAI Sora的技术报告也发布了!其中,「里程碑」也成为报告中的关键词。

夕小瑶科技说 1806

Rider高效调试UE引擎:无需编译源码的符号配置指南

本文提供了一份详尽的Rider高效调试UE引擎指南,核心在于无需编译源码即可配置调试符号。通过Epic启动器下载官方PDB文件,并在Rider中正确配置外部符号服务器路径,开发者能在10分钟内实现对引擎内部代码(如AActor::Tick)的源码级断点调试、变量查看和调用堆栈分析,极大提升问题排查效率。

weixin_29011239的博客 343

OpenAI|全网为Sora疯狂!

2月16日凌晨OpenAI发布了文本生成视频的新应用模型Sora官方出品必属精品!本文阅读成本与收益如下:3mins2024新年假期接近尾声,准备上班了,写篇文章热热身,争取2024持续输出内容~

李小文的博客 975

ZYNQ Linux下UIO中断配置避坑实录:从设备树修改到用户层测试(Vivado 2018.2)

本文详细解析了ZYNQ Linux下UIO中断配置的全流程,从设备树修改到用户层测试,特别针对Vivado 2018.2环境中的常见陷阱提供解决方案。内容涵盖中断号配置规则、用户空间中断处理程序编写以及性能优化技巧,帮助开发者高效实现硬件中断的用户空间控制。

weixin_31854867的博客 334

【SOC 芯片设计 DFT 学习专栏 -- DFT DRC规则检查】

在现代半导体设计中,DFT(Design for Test)技术的重要性不言而喻。它确保了芯片在制造完成后能够进行高效和可靠的测试。DFT设计规则检查(DRC)作为DFT流程中的一个关键环节,通过一系列自动化工具检测设计中的潜在问题,从而保证设计的可测试性和整体质量。在本文中,我们将详细探讨DFT DRC的概念、重要性、检查流程以及具体的规则和应用。Tessent是业界领先的DFT解决方案之一,其DRC工具通过一系列自动化检查,确保设计符合DFT要求。

CodingCos的博客 4173

中国如何复刻Sora,华人团队长文解构!996 OpenAI研究员:Sora是视频GPT-2时刻

如图6所示,与那些仅在统一裁剪的正方形视频上训练的模型相比,Sora制作的视频展示了更好的画面布局,确保视频场景中的主体被完整捕捉,避免了因正方形裁剪而造成的画面有时被截断的问题。在图16中,展示了AI生成的视频「一只头戴贝雷帽、身穿高领毛衣的柴犬」、「一个独特的怪物家族」、「一朵云组成了SORA一词」,以及 「冲浪者在一座历史悠久的大厅内乘着巨浪」。这种技术包含了视频数据的空间和时间维度,不仅考虑了视频画面的静态细节,还关注了画面之间的运动和变化,从而全面捕捉视频的动态特性。

IT界那些事儿 3928

AVL Cruise 2020.1 安装教程

AVL Cruise 2020.1 安装教程

chengkai730的博客 9491

今年2月火遍全网的OpenAI Sora模型现在怎么样了?

今年2月火遍全网的OpenAI Sora模型现在怎么样了?

hunteritself的博客 1626

矩阵LED和矩阵按键

先说矩阵LED,如图: 下面以行几、列几的表达方法说明 三极管可以当做开关使用 由图可知,如果想让一个LED亮,那么它对应的行和列的三极管都要导通。如果这个矩阵每次只亮一个LED,那么正常写程序没问题。 如果我们想让LED1和LED6亮,其他灯不亮,则需要开启行1、行2、列1、列2,随之带来的问题就是LED2和LED5也会跟着亮起来。 解决方法类似于扫描,因为单片机运行速度很快,可以在很短的时间内开关数次而肉眼看不到。所以我们可以每次只亮一列(排)灯,亮单位时间后关掉同时开启另外一列(排),如此四次一循环

qq_46615634的博客 5797

【一文读懂】NTN(非地面网络)技术介绍

NTN,即非地面网络,是指利用卫星、高空平台(如无人机、平流层气球等)等非地面通信基础设施来实现全球通信覆盖的网络。在5G时代,NTN主要基于5G标准,特别是5G NR(New Radio)技术,通过卫星通信扩展地面网络的覆盖范围和服务能力。NTN技术的出现和发展,为全球通信带来了新的可能性和挑战。通过不断的技术创新和标准化推进,NTN有望在未来发挥更加重要的作用,为全球用户提供无处不在的通信服务。随着6G时代的到来,我们有理由相信NTN技术将迎来更加广阔的发展前景。

u011376987的博客 1万+

这应该是全网第一篇全面解读OpenAI Sora报告的文章,精读报告:Video generation models as world simulators

今天是2024年2月16号,大年初七,年还没过完,早晨起来朋友圈就被Sora刷屏了。本来以为没啥,都是公众号或者视屏啥的,都没点开看,直到看到我导也发了Sora的文章,我就知道这个事情不简单了。先来看一段非常炸裂的效果,就是下面这个视频。真的,如果你不跟我说这是AI生成的,我还以为是哪个电影的镜头呢。这场景,这运镜,这清晰度,放大之后连脸上的斑都清晰可见,Oh my God,现实不存在了,现实真的不存在了。Tokyo walk。

Alex 3599

实战开发:C#打造工业级运动控制系统(雷赛/高川/固高控制卡全适配+轨迹优化)

运动控制系统是自动化产线、数控设备、机器人工作站的“神经中枢”,而运动控制卡(如雷赛DMC系列、高川GTS系列、固高GT400系列)则是这一中枢的核心硬件。品牌适配壁垒:不同厂商控制卡的SDK接口差异极大(雷赛用DMC.dll、高川用GTS.dll、固高用GT400.dll),每套设备都要单独开发适配逻辑,开发效率低、维护成本高;运动控制精度与稳定性问题:直接调用SDK基础接口易出现轨迹抖动、多轴同步延迟、急停响应不及时等问题,无法满足3C电子装配、精密加工等高精度场景需求。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 450

当全网都在疯转OpenAI的Sora时,我们普通人能做哪些准备?——关于Sora,你需要了解这些!

当全网都在疯转OpenAI的Sora时,我们普通人能做哪些准备?——关于Sora,你需要了解这些!

hunteritself的博客 2402

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

一锤降维!解密OpenAI超级视频模型Sora技术报告,虚拟世界涌现了

来源| 新智源 ID |AI-era昨天白天,「现实不存在了」开始全网刷屏。「我们这么快就步入下一个时代了?Sora简直太炸裂了」。「这就是电影制作的未来」!谷歌的Gemini Pro 1.5还没出几个小时的风头,天一亮,全世界的聚光灯就集中在了OpenAI的Sora身上。Sora一出,众视频模型臣服。就在几小时后,OpenAI Sora的技术报告也发布了!其中,「里程碑」也成为报告中的关键...

fengdu78的博客 166

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【Sora 学习手册及内测申请】仅用一张图讲透 Sora 技术原理

Sora 学习手册及内测申请, 仅用一张图讲透 Sora 技术原理; 2024 AI 大模型全栈开发知识体系。

AI全栈 和 IT 编程相关分享 1315

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

OpenAI深夜官宣!为期十二天的圣诞惊喜活动发布AI模型大招!Sora、满血o1和高级语音或将发布

#OpenAI #圣诞惊喜 #AI模型发布 #Sora #o1 #高级语音 🏁。十二天的大秀意味着每个工作日都有新发布,这对于 AI 领域的开发者们、爱好者们以及我们这些吃瓜群众来说,简直就是一场视觉与技术的双重盛宴!

猫头虎技术团队:授渔优于赠鱼,兴趣引领智慧,探索之乐尤显珍贵。商务合作+:Libin9iOak ,万粉变现+:优快云WF,猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务!全网搜:猫头虎技术团队,点击文章底部名片或直接私信我一切皆可谈,快找虎哥! 5469

Sora文生视频模型深度剖析:全网独家指南,洞悉98%关键信息,纯干货

Sora文生视频模型深度剖析:全网独家指南,洞悉98%关键信息,纯干货

丨汀、的博客 3109

『全网首发』OpenAI直播发布第3天:Sora文生视频模型真的来了?!

『全网首发』OpenAI直播发布第3天:Sora文生视频模型真的来了?!

hunteritself的博客 1439

Sora:技术细节推测与原理解读,行业影响与成功关键

????导读每逢年节,都是普罗大众从繁重的工作中抽离出来,回归生活与家庭的欢聚时光。然而今年的大年初六,OpenAI 发布的“文生视频”工具 Sora,却以又一次的 AI 技术变革姿态席卷了大街小巷,成为每个饭局讨论的焦点。GPT-4 发布的震撼犹在眼前,又一次的行业冲击接踵而至。被替代的危机论再次甚嚣尘上,未来真的没机会了吗?我们又该如何在变局中抓住机遇?或许,可以先从积极主动地了解危机本身,拥抱学...

QcloudCommunity的博客 1371
上一篇: 解密Sora 13人团队:北大校友在内3名华人,应届博士带着21岁天才少年
下一篇: 突发!中国AI教父李一舟AI课全网下架
公众号:【GitHub爱好者社区】
博客等级 码龄6年 357粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值