论文解读-DeepMove: Predicting Human Mobility with Attentional Recurrent Networks

这是2018年发表的一篇论文，该论文提出了用于从长而稀疏的轨迹预测移动性的注意力递归网络。在DeepMove中，1）我们首先设计了一个多模态嵌入递归神经网络，通过联合嵌入控制人类移动的多个因素来捕获复杂的顺序转换。2）然后，我们提出了一个具有两种机制的历史注意模型，以一种原则的方式捕获多级周期性，该模型有效地利用周期性来增强用于移动性预测的递归神经网络。

Introduction

根据对百万级用户群的研究，93%的人类移动是可预测的。早期的迁移率预测方法大多基于模式的。首先从轨迹迹线中发现预定义的移动模式(例如，顺序模式、周期模式)，然后基于这些提取的模式预测未来位置。最近的发展转向基于模型的方法进行流动性预测。它们利用顺序统计模型(例如，马尔可夫链或递归神经网络)来捕捉人体运动的转变规律，并从给定的训练语料库中学习模型参数。

尽管基于模型的移动性预测很好，但仍有挑战有待解决:1）人类移动性的复杂转变规律。2）人类移动的多层次周期性。3）人类流动性的数据的异质性和稀疏性。

在本文中，作者提出了DeepMove，一种用于从冗长和稀疏的轨迹中预测人类移动性的注意力递归神经网络模型。本文做了如下的工作：
1）提出了一个注意力循环模型DeepMove，用于从长距离和稀疏轨迹预测人类的移动性。我们的模型以一种原则性的方式结合了两种规律性:异质过渡规律性和多级周期性。
2）我们设计了两种注意机制来配合循环模块。第一种是将历史记录直接嵌入到独立的潜在向量中；而第二种方法保留历史记录中的顺序信息。

PRELIMINARIES

1.问题形式化

2.递归神经网络

3.Obview

递归神经网络可以捕捉序列信息的长程相关性。但是，当序列过长，即超过20个单词的长句时，其性能会迅速下降。直接应用递归神经网络解决移动性预测问题直观但效率低。

总之，递归神经网络面临着周期性、数据稀疏和复杂转换的问题，这使得它无法实现对人体移动性的高预测精度。

在DeepMove中，我们首先使用多模态递归神经网络来捕捉复杂的转换关系。DeepMove的另一个关键组件是历史关注模块，旨在通过联合选择当前移动状态下最相关的历史轨迹来捕捉人类移动的多层次周期性。

模型

1.多模态递归预测框架

图3展示了Deepmove的架构。它包括三个主要部分:1)特征提取和嵌入；2)重复模块和历史注意；以及3)预测。