告别“音画割裂”与“人物崩坏”！AutoMV：首个听懂歌词、卡准节拍的开源全曲级MV生成Agent

转载 于 2025-12-29 13:33:08 发布 · 1 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247859141&idx=4&sn=a9d40d862d6698432f2c020a82a5ae4d&chksm=e9d5926177385f69c33844fb9b626bcbc4b1ad37ac41c9fb1d5302842a9851bdf8f2b4483034&scene=126&sessionid=0

AutoMV团队  投稿 
量子位 | 公众号 QbitAI

现有的AI视频生成模型虽然在短片上效果惊人，但面对一首完整的歌曲时往往束手无策——画面不连贯、人物换脸、甚至完全不理会歌词含义。

近日，来自M-A-P、北京邮电大学、南京大学NJU-LINK实验室等机构的研究者们提出了AutoMV。

这是一个无需训练的多智能体（Multi-Agent）系统，它像一个专业的摄制组，能根据音乐节拍、歌词和结构，自动生成长达数分钟、叙事连贯且音画同步的完整MV。

△ 《Lazy Song Demo》


△ 《Beliver Demo》

QbitAl
关注
博客
具身智能机器人年度总结，来自英伟达机器人主管
12-29 2
但正如Jim Fan在上面提到的，基于VLM (视觉-语言模型) 的VLA模型，其骨架本质上是为问答和知识推理而优化的，其庞大的参数库和服务目标，与机器人所需的物理世界精细操作存在严重错位。但具体的数据路线仍未收敛：人类中心采集（可穿戴设备、Umi、视频）、真机遥操数据、仿真数据，以及互联网数据、数据模态、配比仍是开放问题。硬件约束导致迭代变慢，是一个常被低估的瓶颈。A：未来的 VLA 需要整合物理驱动的世界模型，内部表征 3D 几何、物理动态、因果关系和可供性，实现语义指令与物理精度的统一。
博客
Qwen负责人转发2025宝藏论文，年底重读「视觉领域GPT时刻」
12-29 1
论文进一步观察到，在无需针对具体任务进行专门训练、也不引入额外监督的前提下，视频模型已经能够通过不同形式的提示，在多类视觉任务中展现出一定的零样本泛化能力。这些针对不同任务的模型架构差异很大，不仅开发成本高，还严重限制了视觉AI的泛化能力，导致视觉AI的进步一直是单点突破。模型始终做的只有一件事：。，也就是CoF，类似于语言模型中的CoT，只不过视频模型是通过连续生成的视频帧，把整个推理过程“演”出来。在此之前，翻译、写作、问答等任务都各自有专属的模型，而LLM的出现，靠大规模数据训练和生成式架构，让。
博客
今年TRAE写的代码：100000000000行！超50%程序员每天在按Tab键
12-29 559
推出了SOLO模式的Beta版。：当一项AI功能的渗透率超过50%，且保持极高的日活粘性时，它就标志着整个行业已经跨过了尝鲜和辅助工具的初级门槛，正式进入了人机共生的阶段。AI不再是那个偶尔帮你写个正则表达式的小助手，它开始懂你的意图，懂你的逻辑，甚至在你还没想好变量名的时候，就已经把函数体写好了。他们发起了6000万个会话，发送了5亿条Query，消耗了无数的Token，最终产出了那1000亿行代码。它不仅仅是被动回答你的问题，而是以AI为主导，主动理解目标、承接上下文、调度工具，独立推进开发任务。
博客
389万寻找翁荔继任者！OpenAI紧急开招安全防范负责人
12-29 1
其儿子从去年秋天开始使用ChatGPT，一开始确实是在讨论作业，但随着交流愈加深入，其对话中开始多次提到“suicide”等敏感词汇。可以说，OpenAI安全团队负责人的频繁更换和流动，也一次次加深了人们对OpenAI“不重视安全”的印象。一方面，OpenAI高层反复强调AI安全的重要性，但另一方面，负责具体执行的顶级团队却屡屡失去核心领袖——而且有一说一，OpenAI的安全团队似乎一直命途多舛，印象中光是负责人就换了一茬又一茬——。
博客
AI医生终于有了硬标尺！全球首个专病循证评测框架GAPS发布，蚂蚁联合北大王俊院士团队出品
12-29 4
此次合作实现了“临床专家定标准、AI 技术做转化”的深度融合，突破了传统医疗AI评测中专家浅层参与的局限，标志着顶尖临床专家与AI技术团队的深度协作，为医疗AI从“技术驱动”走向“临床价值驱动”树立了新的范式。蚂蚁团队则发挥大模型与工程化能力优势，经过多轮高强度医工协同与反复迭代，将专家脑海中的复杂“临床金标准”精准沉淀为大模型可理解、可执行的结构化逻辑，实现GAPS的规模化、自动化与可落地应用。I医疗能力不再依赖模糊经验，而是通过可量化的指标、可复现的流程、可积累的进化路径，稳步向临床可用迈进。
博客
ViT一作盛赞：这个中国开源“PS模型”强过Nano Banana
12-29 2
具体来说，当输入是一张普通RGB图片时，模型会自动把Alpha通道补成1（完全不透明），在初始化阶段还会聪明地复用预训练参数，避免在透明度建模时出错。在官方案例中，一张完整图片输入之后，模型会自动把画面拆成6个包含不同元素的图层，背景是背景，人物是人物，装饰是装饰，互不干扰。相信大家都有过类似的经历，我们平时用大模型生图时总会碰的到一个抓狂问题，那就是图片生成so easy，细节修改so抓狂！除了刚才说的这些，模型还支持在已分解的图层基础上做进一步分解，进而实现无限分解，听上去很像无限套娃…
博客
良心老黄不搞硅谷资本家那套！Groq人均套现500万美元
12-29 1
通过自研芯片，谷歌成功摆脱了对英伟达天价GPU的依赖，这在很大程度上帮助谷歌削薄了训练和推理成本，这让谷歌在服务大量免费用户的情况下，依然能维持相对健康的财务账面。但一进入推理阶段，短板立刻暴露：大量算力处于闲置状态，FLOPs根本跑不满，系统往往在等待内存搬数据，decode阶段的实际计算量远小于prefill。相比之下，这次英伟达与Groq的交易中，无论是老黄，还是Groq创始人，确实称得上体面。剩下那10%留在Groq的员工，同样可以兑现已归属股份，并获得一揽子方案，继续参与公司后续的经济收益。
博客
救命！和漫画角色聊上头了，AI陪伴的新答案有了
12-29 369
当然它优先服务的，依然是平台内最核心的故事消费用户，通过AI为既有的阅读体验注入更强的沉浸感与情感联结。所以广大友友们可以继续期待一波，或许之后还能体验和AI共创故事，不再只是沉浸在漫画世界里，而是在某个漫画里和喜欢的角色们，一起创造独一无二的经历。整个交互画面的质感提升，细节更为考究。真正的挑战不在于找到一个很会说话的AI，而在于让它精准踩住每一个故事转折的节点，完完全全变成漫画里那个鲜活的角色。，用连续的漫画故事为AI提供生活的世界与时间线，又用即时、个性化的互动让用户在这个世界里沉淀专属的情感记忆。
博客
老黄200亿「钞能力」回应谷歌：联手Groq，补上推理短板
12-28 8
在技术周期高速迭代的背景下，作为AI「心脏」的芯片，也需要根据不同的发展阶段做出相应的调整。通过自研芯片，谷歌成功摆脱了对英伟达天价GPU的依赖，这在很大程度上帮助谷歌削薄了训练和推理成本，这让谷歌在服务大量免费用户的情况下，依然能维持相当健康的财务账面。这时候，GPU的问题就暴露出来了——大部分算力都处于闲置，FLOPs根本用不满，常常在等内存把数据搬过来，实际计算量远小于prefill。而这次人才收购Groq，虽然也是变相承认了公司在推理赛道的不足，但同样标志着英伟达帝国的又一次扩张。
博客
国足缺席世界杯，但中国大模型们集体参赛
12-28 494
这一次，国产大模型集体站在同一个擂台上不再是关起门来做奥数题、在沙箱里跑代码，而是让这些拥有千亿、万亿参数的大脑，去预测那个充满了汗水、草皮、误判、绝杀，以及无数个“这球都能进？它的核心野心在于，推动AI从单纯处理文本、生成图像，甚至是只能在特定环境里动的具身智能，走向一个真正能够感知、理解并预测真实世界的世界模型。IBM的深蓝靠的是恐怖的穷举能力，它没有思考，它只是算得快。足球评论员刘建宏说，这会是足球历史上第一次全民AI竞猜，未来会彻底改变足球这项运动从单纯的球迷“观看”，变成全民“参与”，意义重大。
博客
Ruby 4.0正式发布！推出全新编译器+原生隔离环境，网友：没有它圣诞都不完整
12-28 9
通常情况下，一个.rb文件的加载和执行可以被限定在一个单一的Box中，这意味着该文件内的所有方法定义和常量解析都在该Box的上下文中完成。尽管ZJIT目前的综合性能尚未完全超越成熟的YJIT，但其基于SSA的严谨架构可以突破局部优化带来的瓶颈，为Ruby在未来实现更复杂的代码分析和更高的峰值性能奠定了基础。当代码在某个Box中运行时，它对内置类的修改、定义的全局变量或顶层常量，都被严格限制在当前Box的内部作用域中，完全不会“泄漏”到外部环境或其他Box中。
博客
AI在2025年捧出50+新亿万富翁，有人才22岁
12-27 44
此外，多数头部科技大佬均深度参与本轮AI浪潮，仅少数未重点布局（史蒂夫·鲍尔默和迈克尔·戴尔），像马斯克、拉里·佩奇、谢尔盖·布林和黄仁勋等深度参与的大佬，则普遍实现了近五成及以上的财富增长。在基础模型赛道，DeepSeek系列模型的爆火直接将创始人梁文锋的资产推升至115亿美元（约合人民币805亿元），相比年初胡润榜单上的130亿元人民币，实现了跨越式增长。谷歌创始人拉里·佩奇与谢尔盖·布林，则凭借公司在AI方向上的强势反弹，分别位列硅谷富豪榜第二、第四，过去一年财富增长均接近。
博客
大模型第一股热闹正酣，“局外人”阶跃星辰发了一个小更新
12-27 12
总体来看，这次开源的NextStep-1.1解决了之前NextStep-1中出现的可视化失败（visualization failures ）问题。而在资本层面，智谱和MiniMax的IPO也意味着大模型玩家在第一轮“百模大战”之后，胜者开始寻求更大的资本杠杆，开启更大战场的竞速。然而，NextStep-1 在高维连续潜在空间下运行时，仍存在数值不稳定性，这可能导致输出图像出现块状或网格状的伪影。，NextStep-1通过逐Patch自回归生成，只用一个轻量级流匹配头，避开了对计算密集型DM的依赖。
博客
鸿蒙押注新未来：用AI重写数字世界交互逻辑
12-27 699
这些功能虽然在单点上具备了一定的执行能力，但它们彼此之间是互不相识的独立孤岛，无法串联成一条完整的服务链条，用户依然要充当不同AI功能之间的“人形中转站”，距离真正的“主动智能”相去甚远。透视这三种路径的共性，它们实际上都撞击到了同一个隐形天花板——无论是悬浮的对话框、割据的围墙，还是散落的功能拼盘，本质上都是在旧有的操作系统架构上进行“外挂式”的修补。这种模式下，流量的分配权从竞价排名回归到了服务相关性，不仅让服务转化的链路大幅缩短，更重要的是，它给了那些专注于垂类服务的中小开发者一个被看见的机会。
博客
AI创业版黄仁勋：37岁华人0融资5年干到240亿，谷歌OpenAI都是客户
12-27 34
而不论黄仁勋还是Edwin，事业大小有别，环境也早已变化，做的事情也有所不同，但刻在基因里的底层源代码似乎没有变化，践行的都是同一个底色——这意味着，要让最聪明的人类——研究生、博士，甚至哈佛大学的教授——将他们大脑里的专业知识，转化为AI能读懂的的二进制代码。更强悍的是，纯靠一己之力，轻松斩获谷歌、OpenAI等AI巨头的大单，硬生生给公司干成了估值240亿美元的超级独角兽。另一方面，Surge 最早的客户之一，AI实验室Cohere，虽没寻「新欢」，却偷偷将数据标注工作都转移到了内部。
博客
清华百川楼挂牌启用后，就地圆桌开聊AI医疗
12-27 11
这和今天的课堂很像——学生不再是带着“一张白纸”般的脑袋来听课，而是已经通过多种非课堂渠道了解甚至掌握了的部分课程相关内容，这种变化，会倒逼整个课堂教学方式进化。但不少人多会选择一个顺势而下、生活无忧的工程师作为终点，虽然这也完全可以理解，但在我看来，对十分优秀的学生，这可能是对自己潜力的一种限制。现实情况是，大多数医生对AI技术的理解其实是比较浅的，他们提出的很多需求，并不一定是技术上“最正确的方向”一方面是看前人是怎么摔倒的，另一方面，就是从其他领域借鉴概念、模型和方法，看能不能迁移到自己的问题里。
博客
一只大头机器狗供不应求，打响了消费级具身智能第一枪
12-26 964
如果你是硬科技发烧友，长期追踪体验相关产品的话，肯定能发现市面上常见的消费级四足机器人，大多是根据成熟的工业级产品改装、“简配”而来，造型设计直接继承了“生猛刚硬”的姿态，交互上也只有简单的跟随、跑跳。而且最重要的是，在具身智能机器人轰轰烈烈的元年里，在百花齐放百家争鸣的2025，Vbot维他动力以大头BoBo交卷，用技术、产品和市场反馈，实现了公开检验。毕竟消费级四足机器狗市场，处在刚刚起步的“萌芽”期，至于人形产品，甚至还处在“概念期”，不足以称为“市场”。
博客
清华唐杰：领域大模型，伪命题
12-26 19
大模型如何实现不同阶段的记忆是个关键，context、rag、模型参数可能分别对应了人类的不同记忆阶段，但如何实现是个关键，一种办法是压缩记忆，简单存在context，如果大模型可以支持足够长的context，那基本有可能实现短中长期的记忆。原来的agent是通过模型应用来实现，现在模型已经可以直接将agent数据集成到训练过程，增强了模型的通用性，其实难题还是不同agent环境的泛化和迁移并不是那么容易，因此。，他的本质是agi替代人类工作，因此研发替代不同工种的ai是应用的关键。
博客
AI金矿上打盹的小红书，刚刚醒了一「点点」
12-26 17
不过官方也还在一个征求意见改进的阶段，如果你的小红书也已经被点点「刷新」，在12月31日之前，都可以到点点ai的ask me anything笔记下反馈意见。从回答质量上来看，背靠小红书的海量种草内容，让Ta推荐点文娱作品啊，吃吃喝喝啊，效果都不错，可以省去一大波刷笔记的时间（细思……评论区@不到了，但现在，你可以在小红书里这样玩AI：笔记直接分享给点点，不用手动跳转，即可开启边刷边聊模式。不过，用户们并没有AI全肯定，点点官方的评论区，就出现了不少不同意见。
博客
英伟达成美国大模型开源标杆：Nemotron 3连训练配方都公开，10万亿token数据全放出
12-26 21
两者的总参数量和激活参数量几乎相同（都是8B激活、73B总参），但LatentMoE在所有下游任务上都取得了更好的成绩——MMLU-Pro从48.30提升到52.87，代码任务从51.95提升到55.14，数学任务从78.32提升到80.19。与BF16训练相比，Nano模型的损失差距控制在1%以内，8B激活参数的更大模型差距进一步缩小到0.6%以内。论文给出的层排布模式是：5个Mamba-2+MoE的重复单元，接3个同样结构的单元，再来1个包含注意力层的单元，最后是4个Mamba-2+MoE单元。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值