How Can Large Language Models Understand Spatial-Temporal Data

本文是LLM系列文章，针对《How Can Large Language Models Understand Spatial-Temporal Data》的翻译。

摘要

虽然大型语言模型（LLM）在自然语言处理和计算机视觉等任务中占据主导地位，但利用它们的能力进行时空预测仍然具有挑战性。连续文本和复杂时空数据之间的差异阻碍了这一应用。为了解决这个问题，本文介绍了STG-LLM，这是一种为LLM提供时空预测能力的创新方法。我们通过提出：1）STG tokenizer来解决数据不匹配问题：这种时空图tokenizer将复杂的图数据转换为捕获空间和时间关系的简洁token；2） STG适配器：这种由线性编码和解码层组成的极简主义适配器，弥合了token数据和LLM理解之间的差距。通过仅微调一小组参数，它可以有效地掌握STG Tokenizer生成的token的语义，同时保留LLM的原始自然语言理解能力。在不同的时空基准数据集上进行的大量实验表明，STG-LLM成功地释放了LLM在时空预测中的潜力。值得注意的是，我们的方法实现了与专用SOTA方法同等的竞争性能。

1 引言

2 相关工作

3 问题定义

4 STG-LLM

5 实验

6 结论

在本文中，我们提出了STG-LLM，这是一种LLM赋能的时空预测方法。利用STG-LLM，我们首先设计了一个时空图标记器（STGTokenizer），它可以将时空数据转换为有限的标记集。为了使LLM能够理解token，我们提出了一种简单有效的时空图适配器（STG适配器），它由线性