2019-Augmented Intention Model for Next-Location Prediction from Graphical Trajectory Context

[1] Jin C, Lin Z, Wu M. Augmented Intention Model for Next-Location Prediction from Graphical Trajectory Context[J]. Wireless Communications and Mobile Computing, 2019.

【augment】[ɔːɡˈment] 增加；增大

Abstract

Human trajectory prediction is an essential task for various applications such as travel recommendation, location-sensitive advertisement, and traffic planning. Most existing approaches are sequential-model based and produce a prediction by mining behavior patterns. However, the effectiveness of pattern-based methods is not as good as expected in real-life conditions, such as data sparse or data missing. Moreover, due to the technical limitations of sensors or the traffic situation at the given time, people going to the same place may produce diferent trajectories. trajectories. Even for people traveling along the same route, the observed transit records are not exactly the same. Terefore trajectories are always diverse, and extracting user intention from trajectories is difficult. In this paper, we propose an augmented-intention recurrent neural network (AI-RNN) model to predict locations in diverse trajectories. We first propose three strategies to generate graph structures to demonstrate travel context and then leverage graph convolutional networks to augment user travel intentions under graph view. Finally, we use gated recurrent units with augmented node vectors to predict human trajectories. We experiment with two representative real-life datasets and evaluate the performance of the proposed model by comparing its results with those of other state-of-the-art models. The results demonstrate that the AI-RNN model outperforms other methods in terms of top-k accuracy, especially in scenarios with low similarity.

• 现有问题：1.（现有方法预测准确性不高）大多数现有的人类轨迹预测方法都是基于序列模型的，并通过挖掘行为模式来产生预测。然而，基于模式(pattern)的方法在现实生活中的有效性并不像预期得那样好，例如数据稀疏或数据缺失。2. （如何获取用户出行意图？）轨迹是多种多样的，从轨迹中提取用户意图是很困难的。
• 本文提出了一个“目的增强的递归神经网络模型(AI-RNN Model)“即[Augmented-Intention Recurrent Neural Network Model]来预测不同轨迹的位置。
• 具体方法：
    1. 首先提出三种生成图结构的策略来展示轨迹上下文;
    2. 利用图卷积网络(GCN)来增强用户旅行意图;
    3. 使用带增广节点向量的门控循环单元(GRU)来预测人的轨迹。
• 实验及结果：数据集[2个：一个是作者收集的，另一个是Foursquare]。结果表明，AI-RNN模型在top-k精度上优于其他方法，特别是在相似度较低的场景下。

1 Introduction

• 用户轨迹点间的迁移具有随机性（randomness）和模糊性（vagueness）—— 对next-location prediction造成困难
• 大多数用户没有规律的日常出行模式
• 统计或基于模式的方法假设用户行为模式是可重复和可预测的，忽略了现实生活场景中的随机性和模糊性
• next-location prediction问题的3个关键挑战：▲数据的质量受到用户活动和技术限制▲序列模型的准确性受到很多因素的影响▲如何挖掘每条轨迹的潜在语义上下文信息
• 在过去十年间，概率模型（probability models）和模糊模型（fuzzy models）提出来用来解决随机性和模糊性的问题。很多需要预定义的特征，如距离、速度等

---

  在AI-RNN模型中，我们使用节点的图结构为每个用户根据历史轨迹建立意图。每个节点被嵌入并结合其相邻节点的特征。因此，AI-RNN能够描述不同地点的明显特征，并利用GCN模型扩展点的上下文语义。为了选择合适的节点来产生旅行目的，我们还提出了三种选择策略来解释不同情况下的旅行目的。然后我们使用GCN来增强轨迹中每个点的向量，并使用RNN与这些增强的意图点一起预测下一个位置。

---

  贡献:(i)提出了一个AI-RNN模型来捕捉大规模旅行记录的随机性和模糊性困难。因此，AI-RNN是一种既考虑轨迹图结构又考虑序列模式的端到端轨迹预测方法。(ii)设计了三种上下文选择策略来增强用户的意图，包括随机选择、面向路径方向的选择和路径概率选择，这些都针对了用户移动的各种情况。我们针对不同的轨迹评估这些策略，并确定在特殊情况下哪种选择策略最有效。

---

2 预备知识

1. 对于给定的轨迹，需要两个预处理步骤：数据清洗（data cleaning, 消除潜在的精度误差）、轨迹压缩（trajectory compression,去除冗余数据）
2. 规则性（regularity）：表示给定用户轨迹的相似性。
3. 轨迹意图（trajectory intention）是轨迹语义信息的一种表示。给定一个轨迹P，我们可以提取一组特征作为这个轨迹的意图。正式地说，意图——轨迹长度，轨迹复杂度，速度，持续时间等。
4. GRU是RNN中的一种门控机制，Cho等人[10]于2014年引入，使每个循环单元自适应地捕捉不同时间尺度的依赖关系。门控单元用来调节内部信息的流动。它有三个主要部分，即reset gate、update gate和激活单元(avtivation unit)。GRU最初是在机器翻译领域被引入的，这表明这种模型能够学习语言短语的语义和句法的表示。类比到轨迹预测，它不仅可以记住之前发生的事情，还可以学习每个用户轨迹的内部语义，从而更好地理解。

5. GNN ·利用图结构和节点特征学习节点的表示向量，通过聚合相邻节点的表示来迭代更新节点的表示·。
6. GCN的模型：$Z=f(X,A)=softmax(\hat{A}ReLU(\hat{A}X{W}^{(0)})W^{(1)})$

---

3 Augment Intent Neural Network Framework

三个关键组件：

1. intention-augment module
2. semantic-selection module
3. sequential-prediction module

3.1 Intention-Augment模块

  由于轨迹的随机性和模糊性，我们需要融合更丰富的语义信息来表示用户意图。GNN相关模型可以用用户的历史记录来描述点之间的关系。
  我们运用元组$G=(u,V,E)$，其中$u$是用户，$V=$ {$v_i$}为节点集，每个$v_i$是历史轨迹中的一个点。$E=(e_k,s_k,t_k)$为边的集合，其中$e_k$为边的权值，$s_k$为源节点，$t_k$为目标节点。
  点p的目的增强是指由过去访问过的点构成的轨迹上下文，可以是一个加权图。然后，基于GCN的方法对相关点进行融合，增强点p的语义。

3.2 Context Generation Strategy

• AI-RNN的关键部分是如何为每个轨迹建立语义上下文。

• 我们提出了三种选择策略来表示轨迹语义，分别是随机选择策略、面向方向策略和最大概率策略。这些策略都可以与基于图的学习模型合作。

• a. Random Selection策略
  随机选择附近的部分点。由于可以表示出更多的点来计算轨迹的更丰富的语义，在这里我们可以绘制最小级别min(即节点本身)和最大级别max(即所有邻域节点)之间的上下文。我们定义一个阈值$\gamma$，用方程$\gamma =w\cdot randomseed()$的结果决定一个点是否作为增广信息。其中w代表每个节点的相邻节点数; randomseed函数输出一个[0,1]之间的数字，$\gamma$决定是否将这个点视为一个扩展分支。在本文中，我们选择了$\gamma$=0.6，在我们的实验中得到了最好的结果。

• b. Direction-Oriented策略
     根据两个条件选择节点。a. 被选择的点是在个人的历史轨迹中。b. 观测路径的方向与附加路径的方向相似，即两条路径的方向差应小于阈值

• c. Maximum Probability策略
    主要展示了用户选择某条路径的概率。在给定的轨迹段$(O_m、C_t、O_n)$中，$O_m$为前一个节点，$c_t$为候选节点，$O_n$为要被增强的点。在最大概率策略中，首先将整个轨迹分割成的连续的点，计算每一对点的概率$p(O_i,O_{i+1})$，得到所有两点的段的选择概率后，我们可以计算三点的段，公式如$p(O_m,C_t,O_n)=p(O_m,C_t)\cdot p(C_t,O_n)$:。当然，可以使用更复杂的方法来计算复合轨迹的选择概率。

3.3 训练算法

• 端到端
• 可以选择三种策略中的一种进行用户目的增强、融合语义上下文、利用GRU预测下一地点

4 模型性能评价

🔺评价准则：precision@k

🔺算法：

• 基于统计的方法
• 马尔科夫链
• DeepMove（一种基于Deep Learning的算法）
• AI-RNN

🔺实验类型：

• 比较不同算法
• 比较三种上下文生成策略
• 比较不同时间段（将一天分为4段，将一周分为工作日和周末）
• 比较regular life和irregular life

🔺结果：
  1. 在自己收集的数据集上，DeepMove 和 AI-RNN的结果比基于统计的和马尔科夫链的好。2. DeepMove 和 AI-RNN在Foursquare上的结果相似。说明若轨迹的时间间隔或距离较大时，意图会被模糊化，降低了AI-RNN的有效性。

6 Conclusion

  本文提出了具有GCN和GRU的AI-RNN模型。通过适当的策略增加轨迹的潜在语义，AI-RNN可以提高城市随机和模糊出行行为下next-location预测的准确性。与现有的序列预测算法相比，AI-RNN在训练阶段部分利用了轨迹中每个节点的上下文信息。基于真实世界城市旅行数据集和LBS签到数据集的实验结果表明，当轨迹连续且时间间隔较短时，AI-RNN的性能优于最先进的基线。另外的实验结果表明，持续时间和距离也会对性能产生影响。