西交利物浦&港科最新！轨迹预测基座大模型综述

• 论文链接：https://www.arxiv.org/abs/2509.10570

• 作者单位：西交利物浦大学，澳门大学，利物浦大学，香港科技大学（广州）

摘要与引言

这篇综述探讨了将大语言模型（LLMs）和多模态大语言模型（MLLMs）等大型基础模型应用于自动驾驶轨迹预测的新范式 。这种方法通过整合语言和情境知识，使自动驾驶系统能更深入地理解复杂的交通场景，从而提升安全性和效率。文章回顾了从传统方法到由LFM引入的范式转变，涵盖了车辆和行人的预测任务、常用的评估指标和相关数据集 。它详细介绍了LLM的三种关键应用方法：轨迹-语言映射、多模态融合和基于约束的推理，这些方法显著提高了预测的可解释性和在长尾场景中的鲁棒性 。尽管LLM有诸多优势，但也面临计算延迟、数据稀缺和真实世界鲁棒性等挑战 。

图1展示了自动驾驶中“感知-预测-规划与控制”的闭环过程，突出了LFM如何帮助自动驾驶车辆预测其他交通参与者的轨迹 。

图2则以时间线形式展示了轨迹预测方法的演变，从基于物理模