基于深度学习Seq2Seq框架的技术总结

随着互联网经济的普及定位技术的快速发展，人们在日常生活中产生了大量的轨迹数据，例如出租车的GPS数据、快递配送员PDA产生的轨迹数据等。轨迹数据是一种典型的时空数据（Spatial-Temporal Data），是按照时间顺序索引且空间变化的一系列数据点。在时空数据的数据挖掘中，我们也会大量借鉴在自然语言处理等时序数据中发展很成熟的技术。

本篇文章为您带来的是Seq2Seq（Sequence to Sequence）模型的技术总结。将着重介绍三个里程碑式的方法，Sequence to SequenceLearning with Neural Networks、Learning Phrase Presentations using RNNEncoder-Decoder for Statistical Machine Translation、Neural MachineTranslation by Jointly Learning to Align and Translate。

一、Sequenceto Sequence Learning with Neural Networks

本章我们将会介绍Sutskever I.等人于2014年发表在NeurIPS的一篇论文，目前引用量已经超过12000次。最常见的Seq2Seq模型是解码器-编码器（Encoder-Decoder）模型，由于时序数据的序列性质，通常情况下，我们使用RNN（Recurrent Neural Network）在Encoder中得到输入序列的特征向量，再将此特征向量输入Decoder中的另一个RNN模型，逐一生成目标序列的每一个点，图1展示了该模型的基本框架，以德文翻译至英文为例：

图1 Seq2Seq