27、基于高效分层位置表示的个人轨迹上下文位置嵌入预训练

基于高效分层位置表示的个人轨迹上下文位置嵌入预训练

在当今的城市规划和交通研究领域，利用大规模移动数据建模人类移动模式变得越来越重要。其中，通过自监督目标对位置嵌入进行预训练是一种流行的方法，它能将位置的综合信息融入模型，并且预训练的位置嵌入模型可被广泛的下游模型共享，以提高预测性能和计算效率。然而，现有的方法存在一些局限性，本文将介绍一种新的预训练位置嵌入模型，以解决这些问题。

现有方法的局限性

许多先前的研究将基于语言建模的方法应用于时空数据集，但存在以下两个主要问题：
1. 可扩展性不足 ：在实际应用中，需要训练大量的位置信息。当分辨率精细或目标区域广泛时，不同位置的数量（即位置词汇量）会增加，这会导致预训练嵌入模型的质量和效率下降。而之前的研究处理的不同位置数量通常少于一万个，无法满足实际应用的需求。
2. 难以捕捉位置依赖关系 ：轨迹中的位置往往依赖于之前访问过的位置，这种依赖关系可以是短期的（如连续位置之间的依赖）或长期的（如跨越多个位置的依赖）。然而，之前的研究很难在模型中捕捉到位置之间的这种顺序依赖关系。

新模型的提出

为了解决上述问题，本文提出了一种预训练位置嵌入模型，该模型主要包含以下三个关键组件：
1. Geo - Tokenizer嵌入层
- 原理 ：通过使用不同网格大小的空间层次结构，将特定位置表示为多个不同尺度网格的组合，从而减少需要训练的位置数量。具体来说，一个特定位置由H个标记组合表示，其最终表示是通过对两个层次结构的网格嵌入进行元素求