2025_NIPS_STSBench: A Spatio-temporal Scenario Benchmark for Multi-modal Large Language Models in Au

一、文章主要内容总结

本文针对自动驾驶领域多模态大语言模型（VLMs）的时空推理能力评估缺口，提出了STSBench——一个基于场景的基准测试框架，并在nuScenes数据集上实例化得到STSnu基准。

核心背景与问题

现有自动驾驶相关基准存在三大局限：1）多聚焦单视角图像/视频，缺乏对多视图、激光雷达（LiDAR）等多模态时空输入的支持；2）仅关注自车（ego-vehicle）行为，忽略其他交通参与者（agent）间的复杂交互；3）依赖人工标注，难以跨数据集复用，成本高且效率低。

STSBench框架核心流程

1. 场景目录定义：包含43类交通场景（如车道变更、超车、行人过街等待等）及对应“负场景”（不可同时发生的场景，用于错误选项生成）；
2. 自动场景挖掘：利用数据集的3D边界框、轨迹、自车运动数据、高清地图等真值标注，自动从任意数据集提取预设场景；
3. 轻量化人工验证：通过可视化工具快速核验挖掘场景的准确性，剔除误检场景及无效负场景，保障标注质量；
4. 选择题生成：基于验证后的场景，自动生成聚焦时空推理的选择题，涵盖自车行为、单个agent行为、自车与agent交互、agent间交互四大类别。

STSnu基准与实验结果