Spatial-Temporal Large Language Model for Traffic Prediction

本文是LLM系列文章，针对《Spatial-Temporal Large Language Model for Traffic Prediction》的翻译。

摘要

交通预测是智能交通系统的一个关键组成部分，它致力于利用历史数据预测特定地点的未来交通。尽管现有的交通预测模型通常强调开发复杂的神经网络结构，但其准确性并没有得到相应的提高。近年来，大型语言模型（LLM）在时间序列分析方面表现出了卓越的能力。与现有模型不同，LLM主要通过参数扩展和广泛的预训练来发展，同时保持其基本结构。在本文中，我们提出了一种用于交通预测的时空大语言模型（ST-LLM）。具体而言，ST-LLM将每个位置的时间步长重新定义为token，并结合了时空嵌入模块来学习token的空间位置和全局时间表示。然后，这些表示被融合以向每个token提供统一的空间和时间信息。此外，我们提出了一种新的LLM的部分冻结注意力策略，该策略旨在捕捉交通预测的时空相关性。在真实交通数据集上进行的综合实验证明，ST-LLM的性能优于最先进的模型。值得注意的是，ST-LLM在小样本和零样本预测场景中也表现出稳健的性能。

1 引言

2 相关工作

3 问题定义

4 方法

5 实验

6 结论

ST-LLM通过将交通数据嵌入LLM的时空表示中，有望使大型语言模型适应交通预测。在ST-LLM中提