谷歌AI新星转投Pika：视频生成Lumiere一作，担任创始科学家

于 2024-02-24 13:05:02 发布
阅读量108 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247718145&idx=3&sn=29661994eb306b74c1305df128346557&chksm=e97430c05ea1966b45adf14195e6fee1ffc13c1f0ba68f9a6babdc58c0e3b0badbdf3c53e9b6&scene=126&sessionid=0
白交 发自 凹非寺
量子位 | 公众号 QbitAI

视频生成进展如火如荼，Pika迎来一位大将——

谷歌研究员Omer Bar-Tal，担任Pika创始科学家。

一个月前，还在谷歌以共同一作的身份发布视频生成模型Lumiere，效果十分惊艳。

c9343398d8afcfdcc41e3237f0397657.jpeg

当时网友表示：谷歌加入视频生成战局，又有好戏可看了。

8196ca7cfef8fb650e4f3c1fb470f2a2.gif

Stability AI CEO、谷歌前同事等在内一些业内人士送上了祝福。

f315d604659a514b5847fa60458edabe.png
8f9dff324ea96e445bee25977f9d639e.png

Lumiere一作，刚硕士毕业

Omer Bar-Tal，2021年本科毕业于特拉维夫大学的数学与计算机系，随后前往魏茨曼科学研究所攻读计算机硕士，主要聚焦于图像和视频合成领域的研究。

其论文成果多次被顶会接收，比如Text2LIVE（ECCV 2022 Oral）、MultiDiffusion（ICML 2023）、TokenFlow（ICLR 2024）。

以TokenFlow为例，他们提出了一种框架，基于扩散模型实现文本驱动的视频编辑，支持视频编辑任务无需任何训练或微调。

33ff15fb813adb9d05813f36763b8aa0.png

此次加盟Pika前，他曾是谷歌研究院以Student Researcher身份待了9个月，最终经过7个月的研究以共同一作身份推出了Lumiere。这时候硕士应该还没有毕业。

d2527f989860394dc1ede152c0b4e11c.png

Lumiere的创新点在于，提出了时空U-Net（STU-Net）架构：将视频在空间和时间两个维度同时进行下采样和上采样，在网络的中间层得到视频的压缩时空表示。

在学习了3000万视频之后，Lumiere可支持文生视频、视频编辑修复、图片转视频以及视频风格化等多种功能。

当时Jeff Dean盛赞：多模态视频生成革命正在发生。

8b49ed64265aca924cd390b5e32f6354.png

威尔史密斯吃面（Pika版）

官宣加盟Pika消息之后，官方以及投资人等也送上了祝福。

4dfd15337a36baf955c55840c1e49a44.png

前几天，还有位Pika华人研究员Yilun Du发布了篇文章， 不过应该刚从MIT博士毕业（也可能还没毕业），论文单位仍是MIT。

c8a3004c89a736193f89e406415369ff.png

另外在官网还在继续招人中。

97e77d111c68927fc10b12ea90506672.png

对了，他们刚刚发布了威尔史密斯吃面（Pika版），来看看这个效果如何？

— 完 —

报名中！

2024年值得关注的AIGC企业&产品

量子位正在评选2024年最值得关注的AIGC企业、 2024年最值得期待的AIGC产品两类奖项，欢迎报名评选！

评选报名截至2024年3月31日 6b3500c1e3263172354fba568c61af54.png

a7507134e05589d4c009d6729fc97c91.png

中国AIGC产业峰会同步火热筹备中，了解更多请戳：在这里，看见生成式AI的应用未来！中国AIGC产业峰会来啦！

商务合作请联络微信：18600164356 徐峰

活动合作请联络微信：18801103170 王琳玉

点这里👇关注我，记得标星噢

QbitAl
关注
博客
AI教父Hinton对话上海AI Lab周伯文：多模态聊天机器人已经具有意识，让AI聪明和让AI善良是两件事
07-26 10
2016年，周教授带领团队在国际上首次提出与下游任务无关的自注意力与多头机制等表征新机理与新方法，奠定了Transformer架构的理论基础之一，推动通用人工智能、语言大模型表征新进展，是实现生成式AI的重要里程碑。通常，当你抱持这种想法并开始研究自己的方法时，最终你可能会发现大家那样做是有原因的，而你的方法是错的。当你形成关于这些词的理解时，你常常取一个平均化的概念，认为水平和垂直差不多，但这完全是错的。所以这并非一个真正的科学问题，而是从一个错误的心理状态模型出发导致的问题。，这是我们都想向您学习的。
博客
超大模型推理加速2.18倍！SGLang联合美团技术团队开源投机采样训练框架
07-26 9
同时，将 SGLang 的speculative-eagle-topk固定为8，将speculative-num-draft-tokens固定为10，这样可以使用 tree attention达到更高的接受率。目前开源社区中，尚无能够支持超大尺寸模型训练且与SGLang深度结合的框架，而这些工具层面的不足，直接导致此类模型的部署面临巨大挑战。它通过训练一个专门的轻量级草稿模型来准确预测较大目标模型的token分布，从而实现高接受率和显著的性能提升。： 训练框架的完整源代码，包括TTT和数据处理的实现细节。
博客
大模型“天梯赛”来了，让Agent在Kaggle真实任务中进化｜佐治亚理工、斯坦福开源
07-26 8
通过模拟真实世界的挑战，并提供一个可以不断学习和进化的环境，MLE-Dojo将推动AI从一个“解题工具”向一个真正的“自主工程师”迈进，并最终对整个科学研究和工程领域产生深远影响。强大的性能往往伴随着高昂的计算成本。但有趣的是，也存在像DeepSeek-r1这样，在实现有竞争力的性能的同时，展现出更高成本效益的潜力，这为未来模型的优化指明了方向。如下图所示，Gemini-2.5-Pro不仅性能领先，其在代码验证和执行中的总体失败率也是最低的 ，这表明其生成的代码不仅效果好，而且更加稳健可靠。
博客
刚刚，这家帮某爆款潮玩出海的企业，发布首个全球营销AI Agent
07-26 11
钛动科技CEO李述昊告诉量子位，钛动的定位其实是B2B2C，即服务企业客户，但最终目的是海外消费者，因此积累了海量的全球化场景和营销真实历史行为数据，这构成了钛动深厚的行业壁垒，也成为此次Navos训练的核心。以往大众对于营销的感知，还是纯人力、纯经验，以及庞杂的数据分析。
博客
国产GPU跑满血DeepSeek，已经可以100 tokens/s了！
07-26 541
因此，摩尔线程开发了独有的“零中断容错技术”，这是保障工厂稳定运行的“安全生产协议”。从最初只能加速3D图形的“显卡”（VGA Card），到开放编程接口、允许开发者创造无限可能的“现代图形处理器”，再到被广泛应用于超算、深度学习、区块链等领域的通用计算平台，GPU的每一次飞跃，都源于其通用性的拓展。MUSA架构的先进性，确保了摩尔线程的每一颗芯片都不是孤立的算力单元，而是一个高度协同、管理高效的“作战小组”，有效提升每颗芯片有效算力，为整个AI超级工厂提供了坚实的、可扩展的算力底座。
博客
Hinton上海演讲：大模型跟人类智能很像，警惕养虎为患
07-26 9
如果一个词的造型变形，它和另一个词的“握手”方式就不一样了，这里就有个优化的定义，如果一个词发生变化那么怎么和下一个词连接，这也是人脑或者神经网络如何理解意思，这也有点像蛋白质之间的组合方式，氨基酸变换组合方式后就是不同的蛋白质。在1985年时，我提出了一个非常小的模型，想把这两个理论结合在一起，去更好理解“人类是如何理解一个词的”，每一个词我都放了好几个不同的特征，然后把前一个词的特征记录下来，就能预测下一个词是什么、进而再预测再下一个词。在这个过程中，理解是第一位的，只有在理解的基础上才能进行学习。
博客
80万人排队求码后，Lovart功能升级放开用！果然是顶流设计Agent，第一天鲨疯了
07-26 542
换句话说，传统的UX以屏幕和界面为中心，用户每次操作都从零开始，产品只根据预设流程做出反应，几乎不记住用户的历史和偏好。而AX则以“关系”为核心，软件像一个智能助手，持续记住用户的目标、偏好和历史，主动推送下一步建议，随着使用不断进步。当你亲自上手体验的时候就会发现，Lovart在创作的时候并不是简单的用户输入指令，然后它直接给你成品，而是尽可能把选择权控制权交给用户。有一说一，它不只是一个“能改图”的系统，而是真的像有一位设计师在随时倾听“甲方”需求，然后立即给出回应。只能说，这工具的玩法实在太多了。
博客
非Transformer架构落地之王，带着离线智能和原生记忆能力在上海WAIC浮出水面
07-26 541
现在大家用大模型，都会遇到这样一种情况：提的问题超出了Chatbot的训练数据覆盖范围，得到一句“很抱歉，我的知识截至于2024年x月，无法提供相关信息”，要么就是得到一顿瞎编的结果，令人头秃。所以，展台上玩游戏的灵巧手和自主学习的机器狗，不能当个逛展的乐子看，更深层次的，这能被视作是一种可能性的预告，AI或许能进入一个全新的进化阶段。这些机制组合在一起，让Yan 2.0 Preview完成了对记忆网络有效性的初步验证，模型不再是静态的大脑，而开始变成一个能生长的智能体。
博客
开源Qwen一周连刷三冠，暴击闭源模型！基础模型推理编程均SOTA
07-26 8
基础模型领域，Qwen3最新版本——Qwen3-235B-A22B-Instruct-2507（非思考版）也登顶全球开源第一，在GPQA（知识）、AIME25（数学）、LiveCodeBench（编程）、Arena-Hard（人类偏好对齐）、BFCL（Agent能力）等众多测评中表现出色，超越Claude4（Non-thinking）等领先闭源模型。一登场，再次刷新SOTA，在各项测评中一举拿下「全球最强开源模型」宝座，比肩顶级闭源模型Gemini-2.5 Pro、o4-mini。
博客
不怕被挖！谷歌晒IMO金牌团队大合照，还挨个圈出了联系方式
07-25 16
在此之前，他在谷歌大脑工作了3.3年，参与诸多大模型的研究，撰写累计约45篇论文，其中16篇一作，包括UL2、U-PaLM、DSI、Synthesizer、Charformer和Long Range Arena等，约20次产品发布，妥妥大牛一位。，在诺丁汉大学完成本科教育，后在剑桥大学获哲学硕士学位，并在牛津大学完成博士研究，她于2017年加入Google DeepMind担任研究科学家。，本科就读于浙江大学，硕士毕业于美国哥伦比亚大学，曾在滴滴、Meta就职，直到今年才加入谷歌。
博客
斯坦福大模型推理课免费了，谷歌推理团队创始人主讲
07-25 46
原来模型在生成答案时，通常只用最可能的那个词（贪心解码），但如果看看排在后面的几个可能的词（top-k替代词），会发现里面藏着一步步推理的路径。LLM是概率模型，其解码时追求的是在给定问题下推理和最终答案的联合概率最大，而我们想要的是给定问题下最终答案的概率最大，两者并不一致。方法，就是从这些top-k的解码路径中，选出那些有推理过程且模型信心高的路径，这样能让模型在各种推理任务上表现得更好，甚至。只不过，基于推理的输出通常不会出现在输出分布的优先级部分，因此无法通过贪婪解码（选择概率最高的输出）输出。
博客
WAIC抢先爆料：金融“黑马”大模型超DeepSeek刷新SOTA，论文已上线
07-25 704
相较于传统的SFT和RL，这种高效训练优化策略不仅能够缩短模型迭代周期、降低计算成本，更重要的是能够快速响应金融市场的动态变化，确保模型在风险控制、投资决策、合规监管等真实业务场景中，及时部署，自主“进化”。就像对于通用模型，人类专家们绞尽脑汁设置“人类最后的考试”，极限考验顶尖模型的性能，蚂蚁数科也希望在金融领域，能面向实际部署，更准确地评估模型的真实效用。从实验结果可以看出，Agentar-Fin-R1这样的垂直模型，是行业赛道中的“隐藏王牌”，在实际应用场景中往往能比通用模型更快落地、发挥作用。
博客
训练数据爆减至1/1200！清华&生数发布国产视频具身基座模型，高效泛化复杂物理操作达SOTA水平
07-25 16
一位是清华大学计算机系TSAIL实验室的二年级博士生谭恒楷（Hengkai Tan），主要研究方向是具身大模型和多模态大模型的融合和强化学习，是FCNet、ManiBox、AnyPo、Vidar的一作/共一，也是RDT具身大模型的作者之一，曾拿过全国青少年信息学奥林匹克竞赛（NOI）的银牌，全国84名。通过多视角视频拼接，将不同机器人操作时的多视角画面，巧妙地融合成统一分辨率的“全景图”，同时将本体信息、摄像头信息与任务标注一并打包整合，为海量互联网数据提供了共同对话的基础，实现了真正的多维度融合。
博客
GitHub官方版AI IDE公测！用自然语言写App，全栈应用1分钟生成
07-25 447
用户可以选择这些建议进行修改，也可以询问Copilot，或者自行修改。同时，用户还可以通过同步的GitHub Codespace和Copilot开发Spark，并且可以创建代码库用于团队合作，充分利用GitHub的工具和集成生态系统。用户不仅可以一键将Spark应用连接到GitHub仓库，完整保留所有修改记录，还能实现 Spark与代码仓库的双向同步，自动同步在任一端的改动。同时，Spark还支持代码、资产的预览与编辑，用户不仅可以查看自动生成的底层代码和数字资产，还能在代码层面进行修改、补全、替换。
博客
AGI是否需要世界模型？顶级AI专家圆桌论道，清华求真书院主办
07-25 13
圆桌论坛精彩纷呈、交锋密集，无论是从“相关性与因果性”的基本认知出发，还是围绕“token预测范式”的边界问题，亦或是对“原创能力”与“算力极限”的前景评估，专家们均展现出深厚的理论思考与实践视角。教授则补充称，虽然大模型底层是统计学习的结构，但在高层语义表达中已出现“因果性功能的涌现”，例如在处理逻辑推理、数学解题、文本论证等任务时，大模型展现出了“因为……教授率先提出疑问：文本是天然一维的，图像是二维的，视频再加一维时间，世界则是四维的。大模型的有效性是经验主义的，但它的问题也是根本性的。
博客
AI游戏创新大赛线下终极对决！世纪华通发起，ChinaJoy见证最终冠军诞生
07-25 9
世纪华通董事长王佶；从AI驱动的开放世界剧情生成系统，到重塑游戏创作逻辑、用户交互模式及产业生态，以及AI在教育、音乐、心理健康、法律等领域的创新实践，参赛项目覆盖了AI游戏和应用的诸多创新领域，展现团队在前沿科技领域的不懈探索。例如在上午的应用场中率先登台的海艺互娱所带来的SeaArt Film Video/Ultra2 Pro/Flow 2.0是一款专业的AI艺术创作应用工具，专注于CG制作、人物设计、图标创建和场景生成，支持PC、主机和手机多平台使用，为创作者提供强大的人工智能辅助功能；
博客
卡帕西点赞特斯拉餐厅，马斯克：兄弟，你再回来吧
07-24 15
这特斯卡餐厅开业，马斯克好不容易在这个新展台给擎天柱找了份盛爆米花的工作想展示一下，结果它还在营业第一天就小故障了一把。而当时身为OpenAI联合创始人的马斯克看中了他的才华，于是“近水楼台先得月”，于2017年将其挖到了特斯拉。据顾客反馈，Tesla Diner支持在特斯拉车上点单，到店就能直接进去吃，省了等餐的时间。这次特斯拉餐厅里擎天柱虽然不是主角，但一定是最受关注，也最受马斯克重视的那个。离开特斯拉的人不少，但让马斯克这样心心念念迫切想要其回归的，堪称罕见。营业首日，服务员擎天柱，出事故了。
博客
OpenAI资金链告急！紧急启动300亿美金融资，星际之门现在岌岌可危
07-24 28
软银一开始也确实履行了自己的承诺，在最初已完成的一笔100亿美元融资中，软银就领投了75亿，其余联合投资者则出资25亿，后续原定计划是继续加大投资，承诺出资总额75%。但万万没想到，初期项目还在建设，OpenAI就和软银闹得相当不愉快，二者在有关数据中心选址、投资规模等问题上爆发矛盾。，理论上PBC的设计将优先考虑股东的回报，同时也追求具有明显公共利益的项目，否则软银将会减少投资至100亿美元。而即使此次融资成功，没有足够的技术护城河，人才也在相继流失的情况下，网友也并不认为OpenAI能维持多久。
博客
vivo自研蓝河操作系统内核开源！Rust开发新机遇来了
07-24 654
蓝河选用的Rust引入了所有权（Ownership）和借用检查（Borrow Checker）机制，在编译期间强制保证对内存的合法访问，可以防止缓冲区溢出，同时禁止空指针和悬空引用并避免重复释放，减少内存泄漏。尽管成熟操作系统核心多由C/C++编写（比如Linux），但存在一些老生常谈的问题，比如引入内存漏洞、UAF（Use After Free）、缓冲区溢出等，系统稳定性依赖于极其严密的工程规范和人力经验。也是对国产操作系统的一次创新——使用新兴的Rust编程语言，构建内存安全的操作系统内核。
博客
提速79%！上交大新方法优化企业级AI流程调度 | IEEE ICDCS’ 25
07-24 15
实验结果表明，LLMSched在任意一组实验设置上均取得领先的成绩，同时随着任务数量增加，LLMSched的优势变得更为突出，比如，与 Decima 相比，在包含 100、200、300和400个任务的混合工作负载中，LLMSched 分别降低了 38%、65%、73%和 75%的平均 JCT，这展示了 LLMSched 的可扩展性。，通过引入三类新节点来扩展传统任务表征方法实现复合LLM应用任务的有效表征，借助贝叶斯网络识别可降低不确定性的关键节点，并以信息熵衡量节点的熵减程度。该框架引入了三种节点，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值