sequence2sequence 论文笔记

最新推荐文章于 2025-02-20 20:28:49 发布

geter_CS

最新推荐文章于 2025-02-20 20:28:49 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： nlp 文章标签： sequence2sequence

本文链接：https://blog.youkuaiyun.com/geter_CS/article/details/89398001

nlp 专栏收录该内容

4 篇文章

订阅专栏

本文深入探讨了Seq2Seq模型如何解决序列输入输出长度不固定的问题。通过使用LSTM网络，Seq2Seq能够将变长的输入序列转换为固定长度的向量，再将此向量解码为变长的输出序列，适用于如机器翻译等任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sequence2sequence 论文总结
问题：对于DNN(Deep neural network )来说，其需要输入和输出的维度是已知的并且是固定的.但是对于序列问题，常常是长度不固定的，因此传统DNN结构是不可用的.

在本篇文章中直接使用LSTM网络结构来解决这个问题，基本想法就是使用一个LSTM结构来处理输入，由于输入是序列，处理的时候是按序列时间步来处理的，经过处理后得到一个固定维度的向量，最后使用另一个LSTM结构来对输出的固定长度的向量进行处理得到最终输出向量，此时输出向量长度是可变的。具体我们看图：
在这里插入图片描述可以看见第一个LSTM结构对输入序列ABC进行处理，每次处理一个时间步，然后得到固定长度向量W。然后第二个LSTM结构将W作为第一个时间步输入，得到输出X，然后将X作为第二个时间步输入，得到Y，以此我们就可以得到输出XYZ，可以看到输出是可以任意长度的。

为甚么输出可以任意长度？

首先第一点：第一个LSTM结构中没有使用每个时间步的输出，而只使用了最后一个时间步输出 .
第二点:LSTM是循环神经网络一种，第二个LSTM结构将上一个时刻输出作为当前输入，这样就可以不断循环下去。

为甚么可以这样是这样编码解码的结构？不怕信息丢失？

注意第二个LSTM结构不尽以W作为输入，而且还继承了前一个LSTM的隐层状态，而LSTM的三道门结构可以保证时序信息的整合，因此这样的结构是可行得.

注意文章中还提到：最终我们发现在原句中逆转单词顺序，会取得明显的提升，因为这样做会在源语句和目标句子之间引入许多短期依赖关系，这使得优化问题更容易。

The model

RNN对时序的处理是这样的：
给定一个序列输入 $x_1,x_2,...,x_T)$ ,那么我们可以通过一个RNN结构得到一个序列输出 $y_1,y_2,....,y_T)$ ，通过训环执行下面式子: $h_t=sigm(W^{hx}x_t+W^{hh}h_{t-1})$ $y_t=W^{yh}h_t$
这里我们就成 $h_t$ 是RNN在t时刻的隐藏状态，可以看见 这样的去处理序列结构的化输入输出都必须是相同长度的，这样就不能对应变长的输出（自然语言处理问题基本上输入输出序列长度是不同的），一个简单的解决就是前面提到的两点：首先第一点，第一个LSTM结构中没有使用每个时间步的输出，而只使用了最后一个时间步输出(隐层状态) .第二点，LSTM是循环神经网络一种，第二个LSTM结构将上一个时刻输出作为当前输入，这样就可以不断循环下去得到不同长度的输出。

用概率学来解释：
整个LSTM结构是为了去估计条件概率 $p(y1,y2,..,yT′∣x1,x2,..,xT)p(y_1,y_2,..,y_{T{'}}|x_1,x_2,..,x_T)$ ,这里 $T$ 不一定等于 $T^{'}$ 。过程是这样，首先第一个LSTM层将输入 $x_1,x_2,..,x_T$ 处理为一个固定长度向量 $v$ ，然后在第二个LSTM中进行标准的循环网络计算，第二个LSTM结构以上一个LSTM的最后输出(隐层状态)作为第一个时间步输入，并且继承上一个LSTM的隐层状态 $v$ ,也就是用 $v$ 初始化自己的隐层状态.所以有：
$p(y1,y2,..,yT′∣x1,x2,..,xT)=∏t=1T′p(yt∣v,y1,y2,..,xt−1)p(y_1,y_2,..,y_{T{'}}|x_1,x_2,..,x_T)=\prod_{t=1}^{T{'}}p(y_t|v,y_1,y_2,..,x_{t-1})$