m0_71011863的博客

原创 《动手学深度学习》循环神经网络回顾

除此之外，编码器会在序列开始添加一个<bos>来作为序列的开始标记。解码器的实现亦是传统的RNN类似，但在解码器中，输出结果不再只是依赖前面时间步输出的序列，还有编码器给予的上下文变量。同时，在解码器中，每个时间步的隐状态除了依赖上一个时间步的隐状态和当前输入，也依赖上下文变量。此外，解码器在最后一个时间步还会使用<eos>来作为序列的结束标记。seq2seq的执行过程如下所示。