突破视觉仿真算力瓶颈!新一代具身智能仿真框架开源:高吞吐并行高保真渲染助力规模化训练

清华AIR DISCOVER Lab 投稿
量子位 | 公众号 QbitAI

具身人工智能领域,正向着以视觉为中心的感知范式,发生全面而深刻的转型。

作为机器人感知世界时信息密度最高、与自然人机交互最契合的模态,视觉是解锁通用机器人智能、实现仿真到真实无缝迁移的核心密钥。

但当研究者们试图沿着这条路径向前探索时,却始终需要在“看得真”和“训得快”之间做艰难取舍:

高保真视觉渲染带来了巨大计算与内存开销;人工建模总是耗时耗力低效循环;现有平台的兼容性缺陷不断限制着创新边界,严重束缚了具身智能研究的想象力。

为了攻克这些制约具身智能领域发展的核心难题,清华大学智能产业研究院(AIR)DISCOVER Lab联合谋先飞技术、原力灵机、求之科技和地瓜机器人,提出了GS-Playground通用多模态仿真框架。

作为一套专为视觉中心的机器人学习打造的新一代仿真基础设施,GS-Playground首次实现了高吞吐量并行物理仿真与高保真视觉渲染的深度融合,在保证物理仿真所需的高精度与强稳定性的同时,提供了大规模视觉驱动策略训练与仿真到现实迁移所需的渲染效率与环境支撑。

该成果已被机器人领域国际顶级学术会议RSS 2026(Robotics: Science and Systems)录用。

△Figure 1. GS-Playground Overview

通用全场景原生兼容:打造统一的具身智能仿真训练底座

GS-Playground设计之初,便定位于通用型全场景具身智能仿真平台,平台核心搭载了团队自研的跨平台并行物理引擎,原生支持CPU/GPU双后端与Windows/Linux/macOS全系统运行,可无缝适配全品类机器人形态,包括市面上常见的四足机器人、 全尺寸人形机器人、多自由度工业机械臂,全部实现开箱即用的原生适配,无需额外的二次开发工作。

在此基础上,平台全面覆盖机器人运动控制、自主导航、高接触精度操作三大核心任务场景。

在接口设计上,平台API全面兼容行业通用的MuJoCo MJCF格式,可实现现有仿真项目的零摩擦快速迁移,最大程度降低研究者的适配成本。

自研高性能并行物理引擎:为接触密集型机器人学习提供稳定底层动力学

对于视觉中心的机器人学习而言,“看得真”只是第一步,真正决定策略能否迁移到真实世界的,是仿真系统能否在复杂接触、摩擦、碰撞与多刚体耦合中,持续给出稳定、可信的物理反馈。

针对这一核心瓶颈,GS-Playground从底层自研了一套高性能并行物理引擎,采用广义坐标下的速度-冲量动力学公式,将接触与摩擦统一建模为混合互补问题(MCP),并通过投影高斯-赛德尔(PGS)求解器实现稳定求解。

相比依赖软接触正则化的传统方式,这一设计更强调静摩擦保持、高刚度约束与大时间步稳定性,尤其适合足式运动、机械臂抓取和密集多体接触等高动态任务。

为了支撑大规模并行训练,团队进一步引入约束岛并行化与接触流形热启动机制:

前者将彼此独立的刚体交互系统拆分为多个约束岛并行求解,后者利用上一帧已收敛的接触冲量作为当前帧初值,将稳定堆叠场景中的PGS迭代次数从50次以上降低到10次以内,大幅提升复杂接触场景下的收敛效率。

实验结果充分验证了这一自研物理引擎的稳定性与吞吐优势。

在Franka Panda动态抓取摇晃测试中,GS-Playground CPU后端在0.002s与0.01s两种时间步下,均实现90/90的完整保持成功率,显著优于MuJoCo、IsaacSim与Genesis等主流方案;

在27自由度人形机器人复杂多体交互基准中,当单环境扩展到50个机器人时,GS-Playground CPU后端仍能保持1015 FPS的稳定吞吐,相比MuJoCo实现32倍加速,相比MjWarp实现约600倍提升。

自研内存高效Batch 3DGS渲染技术:打破保真与效率的行业不可能三角

数千个高保真3DGS场景同时渲染带来的内存与算力挑战,一直是制约视觉驱动机器人大规模训练的核心卡点。

针对刚体仿真环境,团队首先设计了专属优化的高效剪枝策略。

该策略可将高斯点数量减少90%以上,同时峰值信噪比(PSNR)下降幅度不足0.05,视觉差异几乎无法被视觉运动策略感知。

这一技术在大幅降低显存占用的同时,几乎无损地保留了场景的视觉质量,为大规模高保真并行仿真奠定了核心基础。

在此基础上,团队研发了面向批处理深度优化的批量3DGS渲染器,实现了多场景大规模高斯渲染的并行处理。

在单张NVIDIA RTX 4090 GPU上,渲染器在640×480分辨率下可实现最高10000 FPS的突破性吞吐量,最多可同时渲染2048个场景,不仅显著提升了单位算力的渲染效率,更能完美适配大批次强化学习的训练工作流,让大规模并行训练不再受限于渲染性能。

△Figure 2. Rendering throughput comparison between GS-Playground and Isaac Sim’s ray-tracing renderer across varying resolutions

此外,团队还提出了刚性连杆高斯运动学(RLGK)机制,将3D高斯簇与物理引擎中的对应刚体进行精准绑定,确保视觉表征与物理对象的位姿能偶实时同步更新,实现了零额外开销的状态同步。

即便是在机器人快速运动、频繁接触交互的动态场景中,渲染器依然能够实现无伪影的动态画面输出,从根源上解决了动态场景中的渲染时间一致性与视觉伪影问题,保障了训练数据的稳定性与可靠性。

自动化“Sim-Ready”Real2Sim工作流:降低 Real2Sim门槛

传统仿真场景的构建,始终是机器人研发流程中效率最低、成本最高的环节之一。

无论人工建模多么精细,却始终无法完全复刻真实环境的视觉细节与物理特性,感知与物理的双重鸿沟成为了制约sim-to-real跨域迁移的核心卡点。

针对这一行业痛点,GS-Playground设计了一套全自动化的“图像到物理”Real2Sim工作流,仅需输入单张RGB图像,即可在数分钟内完成仿真就绪(Sim-Ready)数字资产的全流程创建,实现了真实场景到数字孪生的快速转换,同时保证视觉真实感与物理一致性。

△Figure 3. GS-Playground System Architecture
  • 左:自动化图像到物理仿真管线,通过目标分割、背景补绘、三维高斯溅射 / 网格重建,从RGB输入构建可直接用于仿真的资源。

  • 中:物理与渲染仿真核心,包含CPU/GPU物理后端、集成传感器与激光雷达仿真,以及经过剪枝优化与刚性连杆运动学适配的批量三维高斯溅射渲染。

  • 右:下游应用,包括操作任务、导航任务以及大规模并行强化学习。

基于这套成熟的自动化工作流,团队还构建了Bridge-GS数据集,在Bridge-v2数据集的基础上,补充了场景与物体级的3DGS表征、物体级网格模型、6D位姿数据与校准后的相机参数,为行业提供了标准化的高质量仿真数据集。

同时团队在InteriorGS数据集上完成了完整的泛化性验证,充分证明了该管线对不同室内场景的强适配能力与泛化性能。

全链路端到端验证:实现零微调的无缝仿真到真实迁移

基于三大核心技术的深度协同,GS-Playground完整构建了从真实场景重建、大规模并行训练,到真机部署的全链路端到端闭环,真正实现了“重建即训练、训练即部署”的研发流程革新。

在策略训练与真机迁移的核心能力上,平台可稳定支持数千个并行环境同时运行,为四足机器人、人形机器人、工业机械臂等全品类机器人,提供大规模视觉强化学习训练支撑。

仅在GS-Playground仿真环境中完成训练的视觉驱动策略,无需任何额外的微调与适配,就能直接部署到真实机器人上稳定运行:

  1. 四足和人形机器人的运动策略均可zero-shot部署到真机;

  2. 视觉导航任务实现了零样本的真机直接部署;

  3. 机械臂抓取任务在零微调的前提下,真实场景成功率达到90%。

△Figure 4.Real-world deployment of policies trained in GS-Playground

这一系列实验结果,充分证明了平台实现了真正无壁垒的仿真到真实迁移,也验证了其在打通具身智能感知与物理跨域鸿沟上的核心价值。

开源赋能:与全球社区共同推动具身智能创新

GS-Playground作为行业内首个实现高吞吐量并行物理仿真与高保真批量3DGS渲染深度融合的全栈仿真框架,从根源上突破了长期制约视觉驱动机器人学习的算力、显存与资产生成三大核心瓶颈。

其自动化Real2Sim工作流,大幅降低了高保真仿真环境的构建成本;

全维度的实验验证也充分证明,平台在足式运动、自主导航、机器人操作等机器人主流任务中,能够同时弥合物理与感知层面的仿真到现实鸿沟,实现真正的零微调真机部署。

未来,GS-Playground还将持续迭代优化,不断拓展能力边界。

清华大学智能产业研究院DISCOVER Lab始终致力于推动具身智能领域的前沿研究与技术创新,我们将正式开源GS-Playground的全栈框架,提供一套高性能、易使用、高泛化性的核心基础设施,助力大规模端到端视觉驱动机器人策略学习的进一步发展与产业落地。

项目主页:
https://gsplayground.github.io
论文链接:
https://arxiv.org/abs/2604.25459

仓库链接:
https://github.com/discoverse-dev/gs_playground

相关推荐

DeepSeek V4芯模协同背后,国产算力生态开始飞轮加速

更关键的是,CANN开始逐步兼容主流AI生态。开发者每一次正向反馈、每一个优化结果、每一个创新应用,都能通过昇腾和华为的生态快速走向产业界,形成技术、商业、生态的完整闭环。之前,昇腾与不少模型进行过协同探索,但V4是第一次在大规模、高强度、工程化的尺度上,验证了这种“芯模协同”的可行性与效率。开源以后,我们能更充分地学习业界的优秀实践,在此基础上进行适配和优化,也能将一些好的经验应用到自己的项目中。可以说,从“能跑”到“有人长期建设”,从“厂商推动”到“生态自增长”,华为算力生态,正在进入新的阶段——

量子位 523

世界模型接棒语言模型,这家公司全球首创物理AGI“双金字塔”体系,通用机器人进入“家庭时代”

毕竟在现阶段,家庭场景对机器人的真实刚需,是稳当地端水、收拾餐具、抱起脏衣篮、把零食递到孩子手上,而不是在客厅里完成酷炫的跑酷动作。可以说,这支团队完整经历了CV、自动驾驶、具身基模、世界模型等物理AI过去十年的发展历程,并在每个阶段都做出了行业领先的世界级成果。该模型实现了从感知、理解到行动的完整闭环,能够自主识别物体与场景、规划路径,并执行包含抓取、对齐、折叠、归类等多步骤的。他主导了业内首个智能驾驶数据闭环系统的落地,有效提升了数据的处理效率,为智能驾驶技术的发展提供了重要的基础设施支持。

量子位 248

LeCun新证明:世界是高斯的

论文借用这个框架证明,要让转移算子的第一个特征函数恰好是仿射函数(即线性函数加常数),潜变量的分布必须满足一个非常严格的条件——它的对数密度的导数必须是线性的,而满足这个条件的分布恰好只有高斯分布。从理论角度看,对于高斯分布,描述变量如何在时间上演化的转移算子有一组特殊的特征函数,叫做Hermite多项式,它们是高斯分布下函数空间的自然正交基,类似于周期函数里的傅里叶级数。真正有用的表示,应该对应世界的真实自由度,比如物体的位置、速度、颜色这些独立的内在变量,而不是它们被观测过程扭曲之后的混合产物。

量子位 194

玻璃里跑AI!华中科大&上交大科研成果登Nature子刊

更进一步的,光本位科技还将独有的相变材料存算一体光计算方案引入玻璃光计算芯片中,利用相变材料的非易失性,能够避免在玻璃中引入额外的相移器,从而实现计算过程几乎不耗能的三维光子神经网络系统。它既解决了三五族平台器件密度不足的问题,又突破了固定场景的应用限制,相变材料的引入,使得芯片在推理过程中保持极高能效比的同时芯片参数仍然可根据不同模型实时调整,适配性更强。尽管与论文中直接在玻璃中实现三维结构有所差异,但是同样在玻璃平台上提供了三维集成的完整方案,通过单层玻璃芯片堆叠的方式最终实现相同的三维输入效果。

量子位 176

5篇AI生成的数学论文被接收!00后创始人洪乐潼融资14个亿

如果一个 AI 系统能把数学证明交给机器逐步检查,那么同样的“生成、形式化、验证”闭环,也可能被拿去处理其他学科,以及高风险决策场景。她的创业合作伙伴Shubho Sengupta也从Meta辞职,两人从AI与数学推理的交叉可能性出发,决心解决AI的幻觉问题。创始人洪乐潼,2001年出生于广州,本科MIT三年拿下数学与物理双学位,还拿过北美数学本科生的最高荣誉罗德奖学金和摩根奖。2019年,17岁的洪乐潼考入MIT,仅用三年时间便完成了数学与物理双学位的学业,本科期间就发表了9篇学术论文。

量子位 224

AI正在重写软件行业?8岁孩子做操作系统,一人公司拿下千万订单丨百度秒哒朱广翔 @AIGC2026

这些都完成之后,我们再选择分发给谁,比如百度搜索、小红书投流,或者去微信发送到私域社群里,或者说去App store上架,分发流量之后有了用户数据再去回流、去分析、去运营,指导下次迭代,形成下个循环,每个色块就是一个真人。在很多企业里,原来提需求的是业务人员,他们自身没有开发能力,将需求提到研发部门,研发部门又不懂业务人员的痛点,需要反复沟通、调整,但现在业务人员自己就可以开发软件了。我非常荣幸能从事这个赛道,因为在这个过程中、在这一年半的时间里,我不仅看到了产品的变化,还更多地看到了整个时代的变化。

量子位 435

清华有了新老师:黄仁勋

既包括科技圈顶流如马斯克、微软CEO纳德拉、Meta扎克伯格等,也不乏金融圈大拿,如摩根大通的杰米·戴蒙、贝莱德的拉里·芬克、花旗的简·弗雷泽。,使命是加强学院与外部各界的联系,提升学院在科研和教学方面的整体水平,帮助学院建设成为世界一流的经济管理学院。后来黄仁勋转学,并且一直学业成绩优异,在高中时连跳两级,16岁毕业,进入。,除了讨论学院的国际化战略和长期发展方向,也会给经管学院的学生做讲座。不过,比起这些头衔,老黄最近最出圈的,可能还是他在夜市的花式插队——可口可乐、西门子、通用汽车、BP、塔塔。

量子位 196

「斯隆奖」得主戴亮全职加盟复旦

曾担任波士顿咨询合伙人,副总裁,中国区首席数据科学家,百度研究院大数据实验室和商业智能实验室的主任,和美国俄勒冈大学计算机和信息科学系正教授(终身教职)。,覆盖面相当宽:从宇宙大尺度结构与演化,到暗物质及其通过引力透镜留下的观测信号,再到天体物理引力波。2024年起到复旦大学物理系工作,现任复旦大学特聘教授、复旦大学天文与天体物理中心主任。获奖者覆盖数学、物理、天文、计算机、经济、生物等领域,成长路线相当恐怖,很多后来成了。继袁峰、季索清之后,复旦的天文版图,再迎一位顶尖天体物理学者。

量子位 170

高分辨率视频生成不再慢半拍:让大模型保留“原味”的同时提速十余倍

为此,SURF训练了一个轻量级Refiner,它从线性上采样后的预览latent出发,学习低分辨率latent到高分辨率latent 的flow mapping,只需少量去噪步骤,就能补足高清纹理。因为这些步骤决定了视频最终“会长成什么样”,等到整体结构、主体关系和运动方向基本稳定后,SURF再将latent 下采样到低分辨率,在保留全局结构的前提下,快速完成预览。原因在于,每个预训练模型都有自己的“舒适区”,通常接近它的训练分辨率,一旦分辨率不匹配,模型原本学到的布局、语义和运动先验,就可能被破坏。

量子位 149

大模型也需要睡觉!让AI打个盹,醒来更聪明

Transformer的核心是注意力机制,但注意力有一个天生的短板就是,上下文越长,算力平方级往上蹿,KV缓存也线性往上涨。,让大模型上下文窗口快满的时候别硬撑了,打个盹把最近的上下文反复咀嚼几遍,压缩进长期权重,清空缓存,醒了再接着干。依靠可学习的局部规则,反复对信息进行提炼整合,逐步更新SSM模块内的快速权重,完成信息的深度压缩与消化。这里的“睡眠时长”,本质上就是信息迭代处理的轮次,轮次越多,代表模型对上下文内容的梳理、打磨次数越充分。

量子位 164

1400亿Agent入场,“流量”这条护城河要塌了

因为人要睡觉,但Agent不会睡觉,所以Agent时代的交易呈现7×24小时不间断、极小额、高频次、多形态的特征,此外,支付金额的最小单位可能低于1分钱,成本大幅下降。如果说担保交易解决了电商早期敢不敢买、敢不敢卖的信任问题,移动支付解决了移动互联网时代能不能随时随地交易的效率问题,那么AI支付面对的,就是Agent时代的新问题。早在今年年初,支付宝联合千问App、淘宝闪购、Rokid、大麦、阿里云百炼等伙伴,正式发布中国首个ACT协议,提供一套智能体跨终端、跨系统的“通用语言”。

量子位 165

7B打败o3、GPT-5!医学AI智能体让模型学会“看哪里、怎么看”

是上海创智学院面向下一代医学AI Agent、视觉推理与多模态大模型的青年交叉研究团队,聚焦Visual Reasoning、Agentic RL、Clinical Tools,推动模型从“生成答案”走向基于证据的观察、验证与行动。Ophiuchus的价值不只是让医学大模型多了几个视觉工具,而是让模型学会在诊断过程中主动“看哪里、怎么看、看完如何修正”。当模型能够在思考中主动回看影像、放大病灶、截取视频、验证证据,医学AI才真正从“会回答问题”走向“会进行临床视觉推理”。

量子位 167

AI越用越聪明,自主+自进化是关键拼图丨盛大邓亚峰EverMind@AIGC2026

另一方面,我们认为,未来的AI Memory的Layer(记忆层),服务的可能不仅是资深的开发者,将来很多人都会构建AI应用。我们在token节省和模型成本方面也取得了显著的效果,原因是利用强化学习的方法训练了很小的模型——我们的4B模型在记忆提取和检索使用上的效果可媲美几百B的模型,并且已有不少学术成果发表。当前,大家看到模型进展非常快,但在记忆方面的工作,今年才逐渐多起来,去年这个时候我们和行业里一些团队开始交流AI Memory,这方面的关注还非常少。的爆火,我简单谈谈我的理解。

量子位 762

让大模型“边看边改”,视觉分割准确率直接上涨9% | ICML 2026

给模型一张图、一句话,让它把目标区域的像素圈出来——听起来直接,但一旦目标含糊、被遮挡,或者需要推理才能定位,一次性猜出正确的掩码就变得相当困难。模型不再一次性输出mask,而是先观察图像、进行推理、调用视觉工具、读取反馈,再根据历史结果迭代修正,最终生成更可靠的准确掩码。而RSAgent总体框架如下,包括多轮交互、工具调用、观察反馈、cold-start SFT与agentic RL。痛点不是单纯追求更复杂的分割头,而是让模型在开放语义任务中具备“先判断、再行动、看反馈、再修正”的能力。

量子位 186

OpenAI挖来了个F1级别车手搞公关

在我职业生涯早期,我曾效力于红牛车队,参加过F1级别的职业比赛。后来无论是Salesforce、ServiceNow,还是现在的OpenAI,他几乎每一次跳槽,踩中的都是技术范式切换最剧烈的时候。毕竟现在的OpenAI,既是全球最炙手可热的AI公司,也是最复杂、最难做品牌管理的公司之一。当年从赛道退下来后,他没有选择一条更稳妥的路,而是直接跨进了一个与赛车几乎毫无关系的行业,从零开始做市场与品牌。Salesforce后来之所以能从一家卖CRM的软件公司,变成云计算时代的行业代表,这是很重要的一步。

量子位 150

5秒完成3D场景编辑,北大&港中文&上海AI Lab搞出VGGT-Edit,120倍加速太炸了

尤其是在添加家具、调整位置、修改材质这些复杂任务中,很多传统方法仍然会出现明显的“贴图感”和几何漂移,但VGGT-Edit生成的结果,会明显更像一个真实稳定的3D空间。而这件事,可能比“会生成3D”本身更重要。对于机器人、AR/VR、空间智能这些方向来说,这几乎是致命问题——这些场景真正需要的,不是“某一个角度看起来对”,而是整个3D世界始终稳定一致。对于原生3D编辑来说,这一步非常关键——模型真正需要学习的,不只是“图像变化”,而是同一个编辑,在不同视角下如何始终保持空间一致。但问题也恰恰出在这里。

量子位 154

触觉具身来了个梦之队:天使轮近亿

背靠产学研与地方政策双重加持,作为复旦大学与静安区战略合作的重要落地成果,公司在初创期便获得静安区科经委与市北高新集团的大力培育,先后获得静安区战略性资金及上海市经信委促进产业高质量发展专项资金的支持,上海市科委也针对其核心视触觉传感器的研发给予了专项经费支持,全面加速公司的技术攻关进程。能够夹起衣物,却无法实时感知布料的滑移状态与张力分布,难以完成精准的褶皱整理。对于后发企业而言,沿着先行者的轨迹亦步亦趋难以实现突破,唯有找到行业尚未解决的核心难题,从新的技术变量切入,才能构建起不可替代的竞争壁垒。

量子位 167

DeepSeek陈德里开发自动研究Skill,写一篇论文人类只动脑2小时

论文共迭代6次(V1:4 次,V2:1 次,V3:1 次),总耗时6天,进行了约108轮Agent调用,消耗64.8万token,写了2234行LaTeX代码。,智能体可自主选题、分配资源、长期积累知识、跨领域持续研究,是当前未实现的理想状态,核心瓶颈为持续知识积累、可靠自我评估、架构规模化。早期智能体框架CAMEL、AutoGen、MetaGPT等为代表,特点是分工协作、多视角纠错,成本较高,沟通易混乱。,人类仅提供研究目标、评估最终成果,智能体可完成多步实验、代码、论文撰写,但无法自主选择研究问题。

量子位 191

双榜SOTA!微软ACL2026新作重新定义AI长记忆

结果它找到了Boston和San Francisco,却完全遗漏了Detroit——因为“attended a conference in Detroit”被埋藏在一条长消息中,与“去过哪些城市”的语义相似度不够高。最终,System-1确保语义直接匹配的记忆不遗漏,System-2确保结构相关但语义距离较远的记忆被覆盖,两者。团队认为,真正的AI记忆应当是有组织的、可推理的、双模式的、并能持续进化的。记忆系统的质量,很大程度上取决于“存储时做了什么”,而不仅仅是“检索时怎么找”。

量子位 182

将DSA注意力引入多模态,快手Keye2.0开启强化推理新范式

情感与主题的深度升华:模型并没有停留在“建雪雕”的表层,它提取了画面中巨大的“振兴东北”刻字,关联了片中“老程盼女儿、小李回流家乡”的人物背景,在总结中直指故事内核:“极寒的温度冻不住东北人的热血,冰雪项目不仅是奇观,更是承载着东北人振兴家乡、呼唤游子归乡的炽热情感与现实路径。当接收到“请找出视频中的高光时刻,并给出你的依据,时间戳用[mm:ss]的形式来表示”的指令时,Keye-VL-2.0- 30B-A3B没有陷入传统AI“哪里有击杀提示就截取哪里”或“只看画面元素剧烈变化”的机械逻辑。

量子位 189

专治世界模型幻觉!ECCV 2026 Workshop征稿,Sergey出席,帝国理工等联合发起

ergey Levine(UC Berkeley)、Jiajun Wu(Stanford)等国际顶级学者做特邀报告,同步举办具身动作世界模型挑战赛,以及主题为From Synthesis to Deployment:Bridging Academic and Industry Focuses on World Models的圆桌讨论,旨在弥合学术界在世界模型合成方面的进展与工业界对部署需求之间的差距。世界模型作为智能体的内部模拟器,在执行前预判风险、规避危险,实现风险感知决策。

量子位 196

卡帕西Anthropic最新头衔:技术员工(MTS)

但尴尬的是,这些案例的争议其实很大,都被吐槽过说没有宣传的那么美好,所谓扁平会变成隐性权力,表面没老板,实际有老员工、核心圈层……头衔都一样,竞争对手就没法通过头衔判断谁是L7谁是L5,推断一个员工具体做什么方向,定向挖人的难度直接上升。一个很直观的事实是,整个商业史上,能在没有层级制度的情况下完成规模化的组织,一只手数得过来。后来离开Ins,自己做了个新闻聚合App,叫Artifact,同样是联创+CTO的标签。这些说不在意职称的,一旦离职,就开始在领英自称上「副总裁」了(hehe)。

量子位 80

把VLM塞进隐式世界模型,港大&小鹏机器人新框架让机器人长出物理直觉

通过将人类的姿态对齐到机器人的动作空间,双系统能够共同从多样的人类动作数据(如EgoDex)中汲取养分:System-2负责从人类视频中提取通用的任务逻辑,而System-1则从人类动作标签中蒸馏通用的运动先验。借鉴认知科学中的双系统理论,不仅让强大的VLM直接在其原生的ViT特征空间中进行轻量化的隐式世界建模(Latent World Modeling),更关键的是,它将这种隐式视觉预见构建为一个可微的结构化瓶颈。System-1则在真实未来特征的指导下,专心学习从感知到精准动作的映射。

量子位 101

留给人类数学家的悬赏不多了!谷歌DeepMind一口气解决9道埃尔德什问题

同时,AlphaProof Nexus还在OEIS整数序列百科里证明了44个开放猜想,在代数几何那边解决了一道希尔伯特函数对数凹性的15年悬案,凸优化那边改进了一个锚定梯度下降法的理论边界。这个结果或许也在预示着,未来随着大模型能力持续升级,复杂的多工具组合系统,可能不再是刚需,只用大模型+专业校验工具这套简单循环,就能搞定大多数数学难题。简单理解就是,这群数字之间,既不能一个数整除另一个数,也不能一个数整除另外两个数的和,同时数字还要分布得相对密集,不能只挑寥寥几个数投机取巧。

量子位 131

龙虾之父教你省钱:开源Skill给你的Skill减肥

严格遵循Codex计费规则(UTF8字节数/4向上取整),以模型上下文2%为默认技能预算基数,结合技能优先级排序规则(系统技能>内置技能>插件技能>仓库自定义技能),核算全量技能原始占用令牌、最小渲染令牌、预算内可用令牌。同时可模拟真实运行场景,计算预算不足时的技能描述截断字符数、被省略技能数量,精准输出预算使用率、剩余预算、上下文占用比例等核心指标,直观展示技能体系的资源负载情况。跨Codex内置库、插件缓存、代码库、个人技能根目录,扫描同名技能、描述/内容高度相似的重复技能,标记冗余项。

量子位 86

刚刚,国产AI自己造了AI,全球首例!

在MMLU-Pro、MMLU-Redux、AIME-2025、AIME-2026、BFCL-v4、AA榜单等项目上,也给出了对应成绩。我们完全可以给不同的模型、不同的硬件、不同的任务,分别写专用的代码。如果人不够,那就用AI来凑!更直白一点说,就是当AI写代码的成本越来越低,未来软件不一定非要做成一套通用大框架,也可以针对不同模型、不同硬件、不同任务,现场锻造一套专用代码。这也让MiniCPM5-1B的价值更明确了,它不只是一个小尺寸模型,而是一个在参数规模、部署成本和实际能力之间重新找平衡点的端侧模型。

量子位 638

画数独、烧蜡烛都不翻车了?浙大&阿里让AI先三思再下笔|ACL 2026

让模型画 “数独解完后的样子”、“蜡烛燃烧6小时后的状态”,开源模型要么出现逻辑幻觉,要么无法把文字指令转化为精准视觉操作,形成难以跨越的执行鸿沟。研究者设计了一个独立的Thinker模块,它不直接生成像素,而是充当大脑,负责将模糊的用户意图分解为分层、结构化、且对下游生成器友好的中间表示。阶段,Thinker产生的多条推理路径直接由生成图像的视觉质量打分反馈,这迫使模型放弃空洞的辞藻,转而学习生成“视觉可执行”的指令。这种双向反馈机制,真正实现了脑与手的深度协同。

量子位 62

0.9B跑出90%真机成功率!上海交大为VLA补上空间感

从多视角RGB提取紧凑的隐式深度表征,再以轻量方式融入视觉-语言通路,最后通过flow-matching动作专家输出连续动作。参数,不额外增加硬件负担,用紧凑的隐式深度编码把空间感写进VLA策略里,仿真与真机同时兼顾性能与部署效率。论文中,IDEM骨干约0.13B参数,并结合多视角深度预训练初始化,在轻量条件下引入与深度相关的归纳偏置。值得注意的是,相比只关注benchmark分数,论文也给出了部署侧开销与实时性指标。从RGB学几何,省了硬件,但不少方案依赖较重的基础模型,训练和推理成本偏高。

量子位 82

Grok最新模型吃上Cursor「加餐」,马斯克:Coding实现巨大改进

Cursor数据其实更可能告诉模型,开发者在真实项目里,是怎么描述需求、定位问题、让AI读上下文、修改文件、修复报错、再继续追问的。更大的模型容量,往往能让它更好地理解复杂上下文、进行更长的链式思考,以及处理更具挑战性的真实开发任务~要知道,毕目前承载Grok所有生产流量都由0.5T的v8-small模型,也只有0.5T的大小。用户输入需求后,Grok Build不会直接动手,而是先制定详细执行计划,让用户确认后再执行。这边,也被马斯克亲口点名,补充训练里加入了大量Cursor数据,后续还会继续添加。

量子位 113

刚刚,国产Agent模型闯入全球第一梯队!限时免费

从训练的第一天起,它的目标就不是聊天,而是干活。就像我在实测中感受到的那样,做完桌宠它问你要不要存成Skill,做完周报它提醒你设成定时任务,昆仑万维瞄准的显然不只是一个模型,而是一整套Agent工作生态。发现没,自从模型进入Agent时代后,大部分玩家在推主力模型时都会附带一个轻量版,这也很好理解,就像前段时间Snapchat前机器学习工程师说的那样:。一只小猫,能在屏幕上随机溜达,点击会说打工人语录,右键能切工作模式和摸鱼模式,工作模式带番茄钟倒计时,还要有喝水提醒、远眺提醒、拉伸提醒这些健康功能。

量子位 537
上一篇: 太抓马了!马斯克OpenAI开庭,硅谷巨富互揭老底像极了村口吵架
下一篇: 智谱公布“降智”的秘密:Scaling不可避免的痛
QbitAl
QbitAl 企业官方账号 企业官方账号
博客等级 码龄7年 2万+粉丝 2173原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值