
流式空间智能:多模态大模型的关键门槛
在机器人、自动驾驶、AR等真实场景中,空间理解并非“看一眼图像”就能解决。相机移动、视角变化、目标隐现,使空间信息分散在长时间视频流里,模型需“看得见”“记得住、连得起来、还能持续更新”。这让流式空间智能成为多模态大模型迈向真实世界应用的关键门槛。
Spatial-TTT:解决多模态模型空间记忆难题
近日,由清华大学博士生刘芳甫担任一作,联合多位研究者完成的Spatial-TTT,被计算机视觉顶级会议ECCV 2026正式接收。ECCV与CVPR、ICCV并称为计算机视觉三大顶级会议,入选意味着要接受严格同行评审。Spatial-TTT瞄准多模态模型从“看懂画面”迈向“理解真实空间”的核心问题:视频延长时,模型能否不依赖无限膨胀的上下文,持续形成并更新空间记忆?实验中,2B参数的Spatial-TTT在多个专项空间智能基准上超过GPT - 5、Gemini - 3 - pro等闭源模型,能处理最长120分钟的流式视频。
空间智能难点与现有方法局限
空间智能的难点在于空间信息在时间维度上的选择、组织和保留。真实场景中,模型面对持续涌入的视觉流,相机移动、遮挡、物体显隐使关键证据分散。现有方法大多局限于单张图像或短视频片段,难以扩展到长时程流式视频。问题核心是模型缺少将新观察吸收进内部状态并组织成空间记忆的机制,传统静态推理范式难以解决,而TTT提供了新可能。
Spatial-TTT的设计方案
研究团队提出Spatial-TTT,将fast weights作为紧凑的非线性记忆在线更新,累积3D空间证据,像持续“维护一份空间状态”。TTT此前用于其他领域,但流式视觉空间理解有特殊性,Spatial-TTT围绕三个问题分别设计了方案。
设计一:混合式TTT架构。直接替换注意力层会破坏模型语义能力,研究团队按3:1比例在解码器中交错插入TTT层与标准self - attention anchor layers,75%的层用TTT负责长程信息,25%的层保留标准全注意力维持语义理解和跨模态推理能力。同时引入large - chunk更新和并行的sliding - window attention,提升处理效率,保证局部时空建模能力。
设计二:Spatial - predictive mechanism。传统TTT忽略视觉token的局部几何结构和时间连续性,Spatial-TTT在TTT分支中引入空间预测机制,对Q/K/V加入轻量级3D时空卷积,增强在线更新的稳定性与有效性。
设计三:稠密场景描述监督。现有空间智能数据多为稀疏、局部的Q&A监督,对fast weights学习长期更新动态帮助有限。研究团队构建稠密的3D场景描述数据,采用两阶段spatial - aware progressive training方式,先让模型形成全局3D意识,再强化流式空间推理能力。
实验结果:Spatial-TTT表现出色
实验结果显示,Spatial-TTT在多个空间智能基准上表现优异。在VSI - Bench上,Spatial - TTT - 2B取得64.4的平均分,在多个任务上表现突出。在MindCube - Tiny上,Spatial-TTT准确率达76.2%,比最强闭源基线Gemini - 3 - pro高出12个百分点,比代表性开源空间模型MindCube - 3B高出近25个百分点。在VSI - SUPER系列任务上,Spatial-TTT优势更明显,能在长时程下保持稳定。
深度分析:性能提升源于协同设计
消融实验表明,Spatial-TTT的性能提升是三个设计协同发力的结果。去掉空间预测机制、密集场景描述监督或只用纯TTT结构,VSI - Bench平均分都会下降。效率分析显示,Spatial-TTT在长上下文下实现了超40%的显存与计算节省,而带显式几何编码器的Spatial - MLLM - 4B在部分场景下无法运行。
总结与展望:走向持续世界状态建模
Spatial-TTT不仅在多个空间智能基准上领先,还提供了重新理解长视频记忆问题的方式。传统长上下文方案保留更多历史内容,Spatial-TTT追问模型能否将视觉观察转化为可更新、修正和调用的内部空间状态。这对物理Agent系统很重要,它们需要积累空间经验,让过去的观察影响后续感知与决策。这项入选ECCV 2026的工作,为流式视觉感知走向持续世界状态建模提供了路径。
33



被折叠的 条评论
为什么被折叠?



