机器学习笔记：序列到序列学习[详细解释]

介绍

本节我们使用两个循环神经网络的编码器和解码器， 并将其应用于序列到序列（sequence to sequence，seq2seq）类的学习任务。遵循编码器－解码器架构的设计原则， 循环神经网络编码器使用长度可变的序列作为输入， 将其转换为固定形状的隐状态。 换言之，输入序列的信息被编码到循环神经网络编码器的隐状态中。

结构

首先，我们使用上一节提到的编码器-解码器结构，其中编码器使用一个双隐层的门控循环单元构成的循环神经网络（链接均为我之前发布的博客笔记，seq2seq是基于之前这几节的内容的）。而解码器使用一个双隐层的门控循环单元构成的循环神经网络，后接一个全连接层。