Unsupervised Learning of Video Representations using LSTMs

1.Introduction

      理解时间序列对于解决AI集中的许多问题很重要。最近，使用LSTM的RNN架构（Hochreiter＆Schmidhuber，1997）已成功地用于各种监督序列学习任务，如语音识别（Graves＆Jaitly，2014），机器翻译（Sutskever等，2014; Cho等，2014）和图像字幕生成（Vinyals等，2014）。它们也被应用于视频中的动作识别和产生自然语言描述（Donahue等，2014）。 Sutskever et al（2014）描述了一个通用的seq-seq学习框架，其中使用RNN将输入序列编码为固定长度的表示，然后使用另一个RNN对该表示解码出一个输出序列。在本文中，我们应用和扩展这个框架，来学习图像序列的表示。我们选择在无监督设置下工作，因为我们只能访问未标记的视频的数据集。
       视频是视觉信息的丰富来源，可以被看作是进入我们生活的世界的物理窗口，向我们展示了，什么构成了对象，对象如何在背景上运动，如果摄像机移动会发生什么以及物体如何遮挡。