读sequence to sequence 文章

最新推荐文章于 2025-05-26 11:12:58 发布
最新推荐文章于 2025-05-26 11:12:58 发布
阅读量250 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： Seq2Seq 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huangqihao723/article/details/105887330
本文探讨了使用多层LSTM解决序列到序列(sequence2sequence)问题的方法，特别是在翻译场景下，如英文到法文的翻译。通过将输入序列映射到固定维度，并利用另一个LSTM从该向量还原目标序列，模型能处理不同长度的输入和输出。实验表明，深度LSTM比浅层LSTM在复杂任务上表现更佳。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

      文章中首先提到DNN，不能解决sequence2sequence的问题，因为输入和输出固定的，但是对于翻译等问题，序列的长度是不固定的，这篇文章主要是用了多层的LSTM，把输入映射到一个固定的维度，然后再用另外一个LSTM，从这固定的向量去还原抽取目标序列。这里测试场景是采用了英文到法文的翻译，采用BLEU来度量效果。

 

1. 模型示意图

  • 输入是ABC, 输出是WXYZ
  • 当输出的序列产生之后，就不再进行预测了

 

 

2. 模型目标

  • x1,...,xT 表示输入 ， y1,...,yt 表示输出， v是什么呢？v 就是 将输入通过LSTM得到的最后一个hidden state ， 因为

最后一个hidden state 包含了整个sequence的信息.

  • 需要增加一个sequence的结束符号 <EOS>
  • 发现深度的LSTM 模型效果相比shallow的LSTM模型更好，所以用了4层的LSTM
  • LSTM是逆向读取输入序列，逆向读取的好处，试验板块有一些解释

 

3. 试验

  • 数据集
    • 英 译 法 的数据集，共计1200万句子，包含3.48亿个法文单词，和3.04亿个英文单词
    • 对于输入，除了最常用的16万个词之外，其他都定义为unk，对于输出，除了最常用的80000个词外，其他都定义为unk
  • 训练的目标函数
  • 逆向读取input 
    • 作者这么解释，当我们要把一个词翻译成另外一个词的时候，比如 a,b,c 翻译成 1,2,3的时候，对于目标1来说，a距离比较远，相关性也较低，但每个source 和目标词的平均距离是没有改变的
  • 训练的细节
    • 深度为4的LSTM，每层1000个单元
    • 1000维的embedding，输入是160000词库，输出是80000个词库
    • 发现深度的LSTM对perlexity减少近10%，可能是因为更多的隐层状态
    • LSTM参数的初始化是参数服从[-0.08,0.08]的均匀分布中抽取
    • 用SGD,学习率是0.7,在5个epoch之后，学习率减半，实际上训练只用了7.5个epoch
    • LSTM不会遇到梯度消失的问题，但是会遇到梯度爆炸的问题，会把梯度限制在[10，25]范围内
    • 设置句子长度是固定的

 

4.结论

  • 反向读取效果比较好
  • LSTM对于长句子准确率也高

 

refer：Sequence to Sequence Learning with Neural Networks   Google团队的

机器翻译：Sequence to Sequence Modeling with nn.Transformer
AI天才研究院
07-31 1833
在近几年里，基于深度学习的神经网络在自然语言处理（NLP）领域逐渐成为主流，其主要应用领域之一就是机器翻译。其核心思想就是用计算机将一段文本从一种语言翻译成另一种语言，例如英文到中文或者中文到英文。目前最常用的机器翻译模型是 seq2seq 模型，即序列到序列模型。Seq2seq 模型的基本思路是将输入序列通过编码器进行编码并得到固定长度的上下文表示，然后把此上下文表示作为解码器的初始状态，将目标序列通过解码器生成翻译后的文本。
NLP 的 Sequence-to-Sequence(Seq2Seq)模型
看正好六个字的博客
01-08 1670
Sequence-to-Sequence 模型
SequenceToSequence
07-21
SequenceToSequence 神经网络原理论文。采用LSTM神经网络
sequence to sequence模型
weixin_30381317的博客
05-16 1560
sequence to sequence模型是一类End-to-End的算法框架，也就是从序列到序列的转换模型框架，应用在机器翻译，自动应答等场景。Seq2Seq一般是通过Encoder-Decoder（编码-解码）框架实现，Encoder和Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN、RNN、LSTM、GRU、BLSTM等等。所以...
一文彻底搞懂RNN - 序列到序列（Seq2Seq）
最新发布
2503_90237586的博客
05-26 838
每个时间点的数据都可以看作是序列的一个项，它们按照时间顺序排列，形成了时间序列数据。音频信号：音频信号可以被看作是一个连续的序列，每个时间点的振幅值构成了序列的一部分。编码器负责将输入序列转换为一个固定长度的上下文向量（Context Vector）或隐藏状态序列，以捕捉输入序列中的语义信息。在每个时间步，解码器接收上一个时间步的输出（或起始标记）和编码器的上下文信息，生成当前时间步的输出，并更新其内部状态。在每个时间步，解码器根据编码器输出的上下文信息和上一个时间步的输出，生成当前时间步的输出。
Sequence to Sequence Learning with Neural Networks
u013713117的专栏
01-29 7285
这是由谷歌的三位大神用seq2seq模型实现的基于神经网络的机器翻译（英法互译），基本的方法还是encoder-decoder,作为seq2seq的经典必读论文，本文与其他工作相比主要有创新点有： 利用了多层的LSTM（本文中是4层）。实验表明使用LSTM对长句子的翻译来说效果很好，主要是因为LSTM本身具有长期依赖的优势。 与attention不一样，它又回归到原始模型，在编码端将输入句子编码成一
Sequence to Sequence model
yaluguotc的博客
06-03 928
对文章 Sequence to Sequence Learning with Neural Networks 进行总结 文章构造了一个4层Deep LSTM网络， 每层有1000个cell， 整个网络呈现encoder-decoder结构，encoder把variable length 的input sequence映射到一个fixed dimensional的向量，decoder再
Sequence to Sequence Learning with Neural Networksv论文
04-17
《Sequence to Sequence Learning with Neural Networks》是一篇由Ilya Sutskever, Oriol Vinyals和Quoc V. Le共同撰写的论文，三位作者都来自Google公司。这篇论文在自然语言处理领域有着重要的影响，特别是在序列...
Sequence to Sequence Learningwith Neural Networks
2302_79085918的博客
07-11 678
深度神经网络（DNN）非常强大，可以在困难的学习任务上取得非常优异的性能。尽管只要有大型标记训练集可用。DNN存在缺陷：不能用于将序列映射到序列。一种通用的端到端序列的学习方法，该方法对序列结构做出最少的假设，使用多层长短期记忆（LSTM）将输入序列映射到固定维度的向量，然后使用另一个深度LSTM从向量解码目标序列。结果：从WMT'14数据集的英语到法语翻译任务中，LSTM生成的翻译在整个测试集上的BLEU（评估质量）得分为34.8。
NLP&深度学习 DAY5：Sequence-to-sequence 模型详解
feifeikon的博客
01-30 960
在NLP任务中，我们通常会遇到不定长的语言序列，比如机器翻译任务中，输入可能是一段不定长的英文文本，输出可能是不定长的中文或者法语序列。当遇到输入和输出都是不定长的序列时，可以使用编码器-解码器（encoder-decoder）模型或者seq2seq模型。其基本思想是编码器用来分析输入序列，解码器用来生成输出序列。
Edward Grefenstette - Beyond Sequence to Sequence with Augmented RNNs
05-25
总体来说，Edward Grefenstette在这篇文章中深入探讨了如何通过增强型循环神经网络来提升序列到序列模型的表现。通过对传统RNN的局限性的讨论，以及引入注意力机制、堆栈结构和寄存器机等方法，作者展示了一种超越...
sequence-to-sequence learning
12-18
机器学习之sequence to sequence learning。（Sequence Generation-----Hung-yi Lee 李宏毅.ppt）
Seq2Seq系列（二）:Sequence to Sequence
myofficials的博客
01-14 1055
论文链接Sequence to Sequence Learning with Neural Networks 这是介绍Seq2Seq系列的第二篇文章，主要介绍Seq2Seq的基本模型。与第一篇论文Encoder-Decoder之间具有很强的连续性，内容较少。在这篇论文中，作者将Seq2Seq模型用于英译法的翻译任务中。 模型 Seq2Seq的基础是Encoder和Decoder模型，同样地
Seq2Seq架构，即Sequence-to-Sequence
chunmiao3032的专栏
11-08 243
编码器（Encoder）：首先，编码器会读取输入的英文句子，就像我们阅读英文一样，从左到右逐词阅读。当读完整个句子后，编码器会生成一个向量，这个向量可以看作是对整个英文句子含义的一个总结，我们称之为“上下文向量”。比如机器翻译中，输入是一种语言的句子（序列），输出是另一种语言的句子（也是序列）。解码器（Decoder）：然后，解码器会接收这个向量，并尝试将其“翻译”成中文。总地来说，Seq2Seq模型就像一个会多国语言的翻译员，它通过编码器理解源语言句子的含义，然后通过解码器将这个含义表达在目标语言中。
神经网络中的Attention-2.Sequence-to-Sequence (Seq2Seq)
博饼的专栏
10-16 691
在之前的文章中，介绍了注意力机制，并概述了它的(不那么短的)历史。在这篇文章中，将解释Sequence-to-Sequence (Seq2Seq)架构，它带来了神经机器翻译的重大突破，并推动了Attention的发展。 动机-序列问题 深度神经网络是在各种任务中对非线性数据进行建模的高效工具。在图像分类、句子分类等多种任务中，深度神经网络已被证明是有效的。然而，传统的架构，如多层感知机，在建模序列，如信号和自然语言的效率较低。因此，Seq2Seq被提出来将序列输入映射到序列输出。Se
[李宏毅-机器学习]序列模型 Sequence to Sequence model
炼丹师
02-25 1481
sequence generation 每一步随机采样下一词 conditional sequence generation dynamic sequence generation（attention） encoder可能无法将所有输入都压缩到一个vector中 之前decoder每一步的输入都是一样的，现在让deco...
【论文阅读】Sequence to Sequence Learning with Neural Networks
u013914391的博客
08-05 1262
看论文时查的知识点 前馈神经网络就是一层的节点只有前面一层作为输入，并输出到后面一层，自身之间、与其它层之间都没有联系，由于数据是一层层向前传播的，因此称为前馈网络。 BP网络是最常见的一种前馈网络，BP体现在运作机制上，数据输入后，一层层向前传播，然后计算损失函数，得到损失函数的残差，然后把残差向后一层层传播。 卷积神经网络是根据人的视觉特性，认为视觉都是从局部到全局认知的，因此不全部采用...
文章引用Sequence to sequence learning with neural networks 参考文献
03-08
<think>好的，我现在需要处理用户关于《Sequence to Sequence Learning with Neural Networks》论文的参考文献请求。首先，我需要确认用户的具体需求。用户提到想查找该论文的引用和参考文献，但提供的站内引用都是关于这篇论文本身的讨论，而不是原始论文的参考文献列表。 接下来，我要检查用户提供的引用内容。引用1到5都是用户站内的资料，主要是对该论文的翻译、阅读总结以及创新点的分析，没有直接给出原论文的参考文献。因此，我需要根据已知信息，指导用户如何找到原论文的参考文献。 首先，正确的做法是直接查看原论文的末尾部分，通常参考文献会在那里列出。但由于用户可能无法访问原论文，我需要提供其他方法。比如，通过Google Scholar搜索该论文，查看被引用的文献，或者使用学术数据库如IEEE Xplore、ACM Digital Library来查找。 另外，用户可能需要知道标准的引用格式。例如，原论文的作者是Ilya Sutskever等，发表于2014年的NIPS会议。正确的引用格式应该是： Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In *Advances in neural information processing systems* (pp. 3104-3112). 同时，用户可能需要该论文中引用的其他文献，例如关于LSTM、Encoder-Decoder结构的相关研究。这时可以建议用户查阅原论文的参考文献部分，或者推荐一些经典论文，如Hochreiter的LSTM论文、Bahdanau的注意力机制论文等。 需要注意的是，用户提供的站内引用并没有给出原论文的参考文献，因此无法直接从中提取。需要引导用户到正确的学术资源中去查找，并可能提供一些示例引用格式和相关的重要文献，帮助用户进一步研究。</think>关于论文《Sequence to Sequence Learning with Neural Networks》的参考文献及引用方法，以下是分步说明： --- ### 1. **论文基本信息** - **标题**: Sequence to Sequence Learning with Neural Networks - **作者**: Ilya Sutskever, Oriol Vinyals, Quoc V. Le - **会议/年份**: 2014年发表于NeurIPS（NIPS）会议 - **核心贡献**: 提出基于LSTM的Encoder-Decoder框架，首次实现端到端序列到序列学习[^3][^4]。 --- ### 2. **标准引用格式** 根据APA格式（示例）： ```latex Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In \textit{Advances in neural information processing systems} (pp. 3104–3112). ``` --- ### 3. **查找原论文参考文献的方法** - **直接查看原论文**：论文末尾的"References"部分列出了所有引用文献[^1]。 - **通过学术数据库**：在Google Scholar、IEEE Xplore或ACM Digital Library中搜索论文标题，可获取完整参考文献列表。 - **使用引用管理工具**：Zotero或Mendeley导入论文后自动生成参考文献格式。 --- ### 4. **该论文常引用的关键文献** 论文中可能引用的经典研究包括： 1. **LSTM基础论文**：Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. 2. **Encoder-Decoder结构**：Kalchbrenner, N., & Blunsom, P. (2013). Recurrent continuous translation models. 3. **神经语言模型**：Bengio, Y., et al. (2003). A neural probabilistic language model. --- ### 5. **该论文的后续引用** 若需查找引用此论文的后续研究（如注意力机制、Transformer等），可通过Google Scholar的"Cited by"功能查看，目前已被引用超3万次。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值