北大最新多模态大模型开源：在混合数据集上训练，无需修改直接用到图像视频任务...

北大开源多模态大模型Chat-UniVi：统一处理图像视频任务
原创 于 2023-11-29 14:40:13 发布 · 917 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

北京大学和中山大学团队推出Chat-UniVi，这是一个130亿参数的多模态大模型，能够在混合图片和视频数据上训练，无需修改就能应用于图像和视频任务。模型采用动态视觉token表示图像和视频，减少了训练和推理成本，且在多项基准上表现出色。Chat-UniVi已在GitHub和Hugging Face开源。
一个北大投稿 发送至 凹非寺
量子位 | 公众号 QbitAI

训完130亿参数通用视觉语言大模型，只需3天！

北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。

利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。

d3d569ca978a6866c4e7ac497a40671b.png

具体而言，团队按照提出的新框架，训练了一个新的VLM：Chat-UniVi。

Chat-UniVi能在混合图片和视频数据的情况下进行训练，并同时处理图片任务和视频理解任务。

以此为基础，Chat-UniVi在图片及视频上的17个基准上，都表现得还不错。

b1ea4561994d620cb32e202a8e8eef53.png

现在，项目已经在GitHub和抱抱脸上开源。

更多关于新方法和Chat-UniVi的详细信息，我们一起进一步来看看～

Chat-UniVi是什么？

了解基础信息后，我们详细地聊聊Chat-UniVi究竟是什么——

简单来说，Chat-UniVi是一个统一的多模态大型语言模型，可以同时理解图像和视频。

目前VLM运用的方法，偏图片理解的，往往使用大量视觉tokens来获得更精细的空间分辨率。

偏视频理解的方法，则常常选择

最低0.47元/天 解锁文章
QbitAl
关注
博客
Office危！阿里千问这回把“办公全家桶”打包进了对话框
12-05 6
更实用的一点是，生成完还能改，我觉得这是这次升级最最最实用的功能点，毕竟我们平时让AI帮我们生成的PPT都不支持修改，最后还是要挪到office里搞，很麻烦。除了生成、编辑、格式调整外，在这次升级中，千问还支持Word/PPT/PDF/Excel等各类格式转换，确保用户相关操作在一个APP里就能完成。从排版格式上来看，文字行间距、字间距、大小标题的位置都没乱，内容也被分成了清晰的序号区块，整体观感还是比较舒服的。此外，PPT美观程度也是我们很care的点，现在我们在千问中可以直接更换PPT。
博客
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
12-05 5
现在AI领域已经达成共识的是，Transformer虽好，但自注意力机制的效率问题正在日益凸显：每个token都要“关注”其他所有token，导致计算量和内存消耗与序列长度的平方成正比。它把从长期记忆中提取的信息，当作是历史信息的“摘要”，与当前的短期输入一起进行处理。其中的关窍是“意外”。本质上，可以说这个新架构的重点，是重新定义Transformer的“记忆模式”，将其进化为一种更强大的混合架构。是Titans架构的一种主要变体，设计思路是，将长期记忆作为一种额外的上下文信息，直接“喂”给注意力机制。
博客
优理奇机器人完成两轮合计3亿元天使++++轮及天使+++++轮融资，“算法-硬件-场景”三位一体加速具身智能应用落地
12-05 5
优理奇构建了涵盖感知、决策、控制的完整技术栈，并通过UniTouch多模态感知模型、UniFlex、UniCortex等行业领先的“大小脑”模型组合，以及行业首款量产的8自由度仿生机械臂和开放工具链，显著提升了机器人在非结构化环境中的适应性与可靠性。深度参与产品定义，以“可教学、可编程、可复现”为特点，配备完整ROS2接口，为科研与教育提供高效基础设施，进一步巩固公司在技术生态中的影响力。顶尖的技术与工程团队、经过严苛验证的产品、清晰的商业化路径、强大的产业资本联盟以及政府层面的全力支持。
博客
视频模型也能推理，Sora2推理能力超过GPT-5
12-05 3
这种通过视频来“预知未来”的能力，让模型不仅能理解当下的物理规则，更能推演未来的连锁反应，这或许才是通往World Simulator那把关键的钥匙。反观视频模型，它们通过构建时空连贯的Chain-of-Frame进行推理，这种“视觉动力学”机制保证了无论场景多么复杂，每帧的视觉 Token 密度都保持稳定，从而天然地维持了空间连续性。值得注意的是，团队进行了一项严苛的对比实验：在完全相同的训练数据和接近的训练设置下，同时微调了Wan2.2-TI2V-5B 和 Qwen2.5-VL-7B。
博客
GPT-5从零提出量子物理新想法，物理学家写成论文已登Physics Letters B
12-05 9
通俗地说，我们熟悉的量子力学是 “线性” 的，那如果给它加一些 “非线性” 的修改（让量子状态的变化不仅和自身有关，还和整个系统的状态挂钩），能不能依然符合相对论的要求（比如信息不能超光速传播、物理规律不随观测角度变）。他指出，这是大模型在物理学中的常见问题：模型的专业知识覆盖整个文献领域，因此完全有能力引入来自遥远子领域的、听起来很合理的技术应用，而这些往往是最难发现的虚构内容。与大模型一起做研究，可能类似于与一位才华横溢但不可靠的人类天才合作，他能够产生深刻的洞见，但也会犯下简单和深刻的错误。
博客
谷歌最强大模型付费上线，在DeepSeek开源后被吐槽太贵
12-05 2
具体来说，在「深度思考」模式下，Gemini会开启迭代推理，能多轮打磨代码，生成更精细的程序，从而在可视化、原型设计和实验方面给出细节更丰富的交付结果。不给对手任何喘息的机会，Gemini 3 Pro刚给OpenAI按在地上锤完，谷歌转手又扔出一重磅炸弹——Gemini 3 Deep Think。这或许也能解释，为什么本该是谷歌又一大招的Gemini 3 Deep Think，最终却出乎意料的反响平平，评论区几乎清一色都在吐槽定价。该模型的底层技术衍生于Gemini 2.5 Deep Think——没错，
博客
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
12-05 209
而过去几年，行业陷入了“唯规模论”的路径依赖，直到今天，以Ilya为代表的一批顶尖研究者才集体发出警示：Transformer架构的固有局限已日益凸显，仅靠堆叠算力和数据，无法通往真正的通用智能。它不仅重新定义了多模态模型的构建方式，更向世界宣告：AI的下一站，是回归到对智能本质的探索，通过根本性的架构创新，去构建能真正理解并融通多维信息的通用大脑。注意力机制是大模型的思考方式，在传统模块化模型里，语言模型的注意力是因果的（只能看到前面的词），而视觉编码器的注意力是双向的（能看到所有像素）。
博客
北航领衔发布300页代码智能综述：从基础模型到智能体，一次读懂Code LLM全景图
12-05 5
From Code Foundation Models to Agents and Applications》一文是对过去几年代码智能领域的一次系统梳理：模型、任务、训练、智能体、安全与应用都被串联成了一条完整、连贯的技术链路。论文将风险拆分为数据安全、模型安全和执行安全三个层面：包括训练数据的许可证风险、模型生成的潜在漏洞、提示攻击、环境操控、以及代码执行带来的系统级风险。论文从需求理解、代码定位、跨文件生成、自动测试、APR（自动修复）、日志分析等任务切入，为每一步构建了对应的Agent框架和案例。
博客
2025年的冬天，上海凭什么被称为“世界具身智能第一战场”？
12-05 5
真正的里程碑在于，在中国，以上海为代表的世界具身智能产业排头兵们，已经建立了一个让硅基生命能够“出生、成长、学习、就业”的完整生态系统。坐镇，她考核的不仅是摆放位置，更是机器人能否理解“留白”的意境，能否通过花材的疏密布局，表达出“孤独”或“热烈”的。行业的“定海神针” 发布的“青龙”全尺寸通用人形机器人开源公版机，通过开源图纸和架构，将全行业的起跑线向前推进了。2025年的冬天，黄浦江畔的风带着些许湿冷，但张江科学会堂周边的空气，却因高密度的算力运转而近乎沸腾。具身智能的大脑训练需要极高的算力支持。
博客
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
12-05 298
如果我们将一层Attention视为一阶关系（A认识B），那么将Attention的输出作为下一层Attention的输入，就可以构建二阶关系（张三通过李四认识王五），乃至更高阶的关系。这种结构天然支持多跳推理链，就像人在解一道数学题时，先理解题干中的关键变量（第1层），再思考它们之间的公式关系（第2层），最后验证整体逻辑是否自洽（第3层）。例如它能轻松理解“A认识B”，但如果要它理解“张三通过李四认识了王五”，即多跳、多点之间的复杂、间接关系，它的脑回路就显得不够深，推理能力的天花板瞬间触顶。
博客
“豆包手机”在二手市场价格都翻倍了……
12-04 16
当用户给助手指令，要求操作手机时，助手确实需要读取屏幕，否则无法完成用户任务，但屏幕和操作过程都不会在服务器端留下存储，且所有的相关内容也都不会进入模型训练。据了解，豆包手机助手官方最新向新浪科技表示，“合作的工程样机由豆包主导AI手机助手的产品定义与体验，中兴通讯旗下努比亚nubia主导硬件工程与技术研发”。，所有权限的使用在官网的隐私安全白皮书中都有明确的披露，并不存在一些谣言所说的“入侵”、“越权”等行为。另外，有传言称这款手机基本算是字节自己研发的，但是迫于压力说的合作，其实中兴只是代工。
博客
黄仁勋做客美国第一播客：每天都在担心英伟达倒闭
12-04 28
然后你说“不，那是错的”，你需要把那个误差反向传播回去，调整这几十亿个开关的参数。我的两个孩子现在都在英伟达工作，所以我们在一起时，大家都在工作，都在聊公司的事情。我去见世嘉的CEO，我告诉他：“我没法完成合同了，我们的技术是错的。： 我一直想弄懂这个基础问题，因为我也在玩游戏，我知道显卡是干嘛的。如果这能让我们获取知识更高效，哪怕是由AI合成的知识，只要它是基于第一性原理核实过的，那就没问题。当时行业的主流是用三角形来绘图，而我们却选择了一种叫“正向纹理映射”的技术，用的是四边形，甚至是曲面。
博客
嘉宾全阵容揭晓！张亚勤孙茂松，百度小米商汤谷歌都要来MEET2026
12-04 123
PPIO聚焦于AI云计算领域，推出高性能推理加速引擎，集成GPU容器实例、Serverless GPUs、Agent沙箱、大语言模型API、图像与视频生成模型API等产品，使开发者无需关注底层基础设施运维与模型接口开发，即可快速部署AIGC应用，聚焦应用创新与业务增长。刘凡平，毕业于中国科学技术大学，上海市科技专家库专家，曾出版人工智能领域著作4本，发表多篇人工智能领域论文，人工智能技术相关专利20余项，涵盖基础算法研究到大模型架构设计。主要研究兴趣包括：大模型、多模态、搜索推荐、具身智能、VR/AR等。
博客
下周三！量子位的这件大事就要来了｜MEET2026
12-04 190
这几位大咖聚在一起，探讨的不仅是Agent的技术架构，更是如何让AI从陪聊进化为真正的超级助理。前者， 是由量子位智库梳理总结出的2025年度AI代表进展，并且展望接下来能预见的技术趋势，覆盖从算法数据算力的技术底座，到产品解决方案，乃至行业应用的发展走向，总之关于AI的一切，都可以在这份报告一览而尽。而且现在大会的内容已经可以剧透，真就是光看嘉宾就知道有多重磅了，包括清华大学张亚勤、孙茂松、智源研究院王仲远等学术界的大咖，国内产业界有百度、小米、商汤等，国外有谷歌云、亚马逊云科技、高通等。
博客
无需训练的3D生成加速新思路：西湖大学提出Fast3Dcache
12-04 31
它动态地分配每一部的“计算预算”——变化大的时候多算点，稳定的时候多存点，绝不浪费一度电，也绝不错过一个细节。当参数τ=8时，模型提速。下图所示，Fast3Dcache自身以及和其他方法结合在提高速度以及降低计算量的同时，仍然保持了高质量的几何特征。这种基于时空动力学的筛选机制，比传统的仅看数值相似度要靠谱得多，彻底解决了3D结构断裂的问题。：尾声，绝大多数体素已经定型，只剩下微小的细节修补，可以采用固定采样的激进加速方法。：生成初期，物体的大致轮廓正在形成，体素变化剧烈，这时候必须全力计算，不能偷懒。
博客
Sora APP 30天留存率：1%
12-04 36
不幸的是，此时回过头看，Sora APP在阶段3的一些尝试无疑是失败的。潜台词就是，即使打造出了Sora APP这样一款强大的应用，一些后续运营对OpenAI来说仍是不小的挑战，何况这种短视频产品对运营的依赖更重。可以看到，OpenAI一边为Sora APP增加新功能新玩法，一边取消注册使用门槛，以此促进用户增长，但貌似用户并不买账。作为一名内容创作者，我放弃了它，因为它无法上传我自己的逼真头像。部分网友表示，Sora APP的推荐算法非常糟糕，总是推送同类型的视频，sam的脸总是高频出现。
博客
误入人均10个顶级offer的技术天团活动，顶尖AI人才的选择逻辑我悟了
12-04 285
再加上在他的判断下，电商+Agent是C端AI产品最天然的应用场景，尤其在京东这样的高频交易平台上，Agent不是个点状功能，而是能覆盖选品、搜索、比价、下单、售后的全链路智能体。——这点倒符合外界对京东一贯的评价，拥有完善自营体系的京东，依托多年沉淀的电商和供应链能力，沉淀了海量真实数据，数据链路闭环，为大模型训练提供了满满的“弹药库”。Daniel说，京东是一家以供应链为基础的技术与服务企业，自己在了解供应链业务后，识别到这背后的复杂度与挑战性，同时也意识到这其中巨大的机会和成长空间。
博客
GPT-5-Thinking新训练方法公开：让AI学会忏悔
12-04 3
具体来说，在11/12的评估中，模型至少有一半的概率会在忏悔中如实交代自己的违规行为。典型场景是模型碰巧猜对了答案，但因为没有把握，就在忏悔中标记为“不确定是否合规”。OpenAI将忏悔定位为一种监控和诊断工具，类似于思维链监控，但关注的是“模型是否违反了指令”而非“模型是如何推理的”。它也不能防御成功的越狱攻击，如果用户已经成功欺骗模型让它认为违规操作是合理的，模型自然也不会在忏悔中承认问题。绝大多数失败发生在模型自己也没意识到问题的情况下，比如在知识问答中给出了错误答案，但模型真心以为自己是对的。
博客
理想首款AI眼镜，只卖1699元
12-04 14
可以连接车里的任何一块屏幕，在任何一个位置上，你可以让车里边或者手机里的声音直接连到你的眼镜里进行播放，尤其是高速的时候，跑长途，孩子看着动画片，你可以听书听导航，互不干扰又彼此开放，车里其他人说话你都能听得很清楚。第二点，前框极致轻薄，尼龙壁厚只有0.8毫米，同时没有使用固定式鼻托，使用了钛合金的调节鼻托，三块电池其中的两块电池配重到了镜腿的最后面，形成了一个三点的重量平衡，鼻子和两个耳朵这个受力非常的均衡。第三，整个的镜腿后部的弧度设计是学习运动眼镜向后环抱，戴上以后更有安全感，甚至跑步没有任何问题。
博客
又一高管弃库克而去！苹果UI设计负责人转投Meta
12-04 28
前谷歌AI主管约翰・詹南德里亚（John Giannandrea），2018年加盟苹果管AI，却因Siri升级慢、Apple Intelligence没起色，被劝退了——明年春天退休，结束7年的苹果生涯。现如今苹果的液态玻璃设计，据说就出自他的手笔。设计是苹果公司本质的核心，今天，我们拥有一支卓越的设计团队，正在打造历史上最具创新性的产品阵容。而更重要的AI方向上，苹果不仅老态龙钟步履蹒跚，关键人物也是劝退的劝退、跳槽的跳槽。之前已经被多次曝光的进展是，执掌苹果14年的蒂姆・库克（Tim Cook），
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值