随着互联网经济的普及定位技术的快速发展,人们在日常生活中产生了大量的轨迹数据,例如出租车的GPS数据、快递配送员PDA产生的轨迹数据等。轨迹数据是一种典型的时空数据(Spatial-Temporal Data),是按照时间顺序索引且空间变化的一系列数据点。在时空数据的数据挖掘中,我们也会大量借鉴在自然语言处理等时序数据中发展很成熟的技术。
本篇文章为您带来的是Seq2Seq(Sequence to Sequence)模型的技术总结。将着重介绍三个里程碑式的方法,Sequence to SequenceLearning with Neural Networks、Learning Phrase Presentations using RNNEncoder-Decoder for Statistical Machine Translation、Neural MachineTranslation by Jointly Learning to Align and Translate。
一、Sequenceto Sequence Learning with Neural Networks
本章我们将会介绍Sutskever I.等人于2014年发表在NeurIPS的一篇论文,目前引用量已经超过12000次。最常见的Seq2Seq模型是解码器-编码器(Encoder-Decoder)模型,由于时序数据的序列性质,通常情况下,我们使用RNN(Recurrent Neural Network)在Encoder中得到输入序列的特征向量,再将此特征向量输入Decoder中的另一个RNN模型,逐一生成目标序列的每一个点,图1展示了该模型的基本框架,以德文翻译至英文为例: