Enhanced Motion Forecasting with Plug-and-Play Multimodal Large Language Models

一、文章主要内容总结

本文针对自动驾驶系统中运动预测模型在复杂真实场景下泛化能力不足的问题，提出了一种名为Plug-and-Forecast（PnF） 的即插即用方法。该方法通过融合多模态大型语言模型（MLLMs）的零样本推理能力，增强现有运动预测模型的场景理解与行为预测性能，核心内容如下：

1. 问题背景：传统自动驾驶模块化系统（感知、预测、规划等）在训练数据之外的长尾场景（如紧急车辆出现、特殊天气）中性能受限，而持续收集数据与重训模型的成本过高。MLLMs具备跨模态推理和泛化能力，可弥补这一缺陷。

2. 核心框架：PnF包含三个关键组件：

   • 视觉语义分析器（VSA）：通过多模态提示（图像+文本）从MLLM提取智能体（车辆、行人）级语义信息（如车辆类型、信号灯状态、行为意图、是否横穿马路等），输出结构化文本并转换为可学习嵌入；
   • 驾驶场景分类器（SC）：提取场景级信息（天气、时段、道路类型、是否接近路口等），同样转换为结构化嵌入；
   • Transformer架构增强：将VSA和SC的嵌入通过学习的信息增益机制，融入现有运动预测模型（Wayformer、MotionLM），实现端到端训练，无需修改原有模型架构或微调MLLM。

3. 实验验证：在Waymo Open Motion Dataset（W