
【导语:近年来,基于视频生成模型的世界模型成为AI热门方向,但现有基准难以验证模型是否形成“物理直觉”。南洋理工大学团队提出以物理定律为核心的评估基准Apple-π,揭示当前模型距可靠通用世界模拟器差距大。】

基于视频生成模型的世界模型已成为人工智能领域受关注的方向,Sora等多个视频生成模型都期望通过大量视频形成“物理直觉”理解物理世界。然而现有基准难以验证这一假设,南洋理工大学S-Lab团队及其合作者提出首个以物理定律为核心的视频模型评估基准Apple-π。
Apple-π要求模型感知相关物理量、表述支配定律,推导出符合定律的后续运动,并定位推理失败步骤。其设计包括:包含400个经典力学视频的Orchard视频数据集;将Orchard案例拆分为感知、表述和推导三类任务、五个子轨道的基准协议;采用混合评分机制的评估套件,多模态大模型评分评估回答合理性等,物理真值指标量化物体误差,各赛道得分归一化到[0,1]。

研究团队在完整Apple-π基准上评估了11个代表性模型,结果显示视频预训练、推理监督和统一理解能改善模型的感知和表述能力,但无论哪类模型,物理推导表现都十分有限。专有模型结果整体强于基础开源视频模型,大规模、高质量视频训练可蒸馏有用物理先验;经过视频推理微调的VBVR - Wan2.2在视频模型中表现更有竞争力;GPT Image 2和Nano Banana 2结果显著领先,说明显式理解和可控视觉生成有助于标注读取等。即便SOTA模型得分也只有0.473,物理运动推理仍是主要瓶颈。
Apple-π将评测流程拆分为感知、定律建模和动态推演三个阶段,考察发现模型错误不仅出现在最终生成阶段,中段物理推理环节也存在问题。模型更多依赖表层视觉模式匹配,未形成稳定的物理状态建模能力。

尽管Apple-π能更细致地评估视频模型的物理推理能力,但仍存在不足。它覆盖范围有限,主要聚焦经典刚体力学,未评估流体、热力学等现象;覆盖的物体和场景不全面,动态物体仅包括球体等,不考察多视角一致性或新视角生成能力。
其输入设置依赖第一帧标注固定场景与物理量对应关系,主要考察已有视觉场景下的物理推理能力,不测试仅凭文本构造完整物理场景的能力。当前评估方式也存在问题,MLLM裁判无法完全判断物理过程是否正确,结合的指标受分割质量等影响,且时间归一化有局限,评估结果可能受视频生成服务返回情况影响。

这项工作旨在帮助未来的视频生成模型真正学会依照物理定律理解和模拟世界,但目前来看,属于世界模型的“ChatGPT时刻”依然很远。研究人员还需要为视频世界模型赋予更强的场景理解能力、更丰富的物理推理数据,以及专门面向推理的后训练。
编辑观点:Apple-π的出现为视频生成模型评估提供了新方向,虽有局限,但揭示了当前模型在物理推理上的不足,推动行业向更具物理理解能力的模型发展。
19



被折叠的 条评论
为什么被折叠?



