深度学习（BOT方向） 学习笔记（1） Sequence2Sequence 学习

最新推荐文章于 2025-11-16 07:22:43 发布
原创 最新推荐文章于 2025-11-16 07:22:43 发布 · 1.8w 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #阅读 #seq2seq #RNN #SMT

本文介绍了Seq2Seq模型在深度学习中的应用，特别是RNN Encoder-Decoder框架在序列转换任务中的作用，如机器翻译和对话系统。文章详细阐述了Encoder和Decoder的工作原理，并提及实验中使用RNN进行英语到法语的翻译任务，取得了接近WMT14最高分的效果。尽管基础RNN存在长序列信息丢失问题，但通过LSTM和Attention机制的引入，模型性能得到提升。Seq2Seq模型因其简单而强大的特性，成为后续工作的基础。

系列目录：
Seq2Seq Chatbot 聊天机器人：基于Torch的一个Demo搭建 手札
深度学习（BOT方向） 学习笔记（1） Sequence2Sequence 学习
深度学习（BOT方向） 学习笔记（2） RNN Encoder-Decoder 及 LSTM 学习

1 前言

这个深度学习，其实是来自每周Paper笔记的整理版，即文章的主要内容其实是我对一篇文章的整理，受限于个人水平，可能很多地方会出现理解偏差、或者理解不到位的地方，所以如果发现什么不对的地方欢迎交流。之前我一直不想发这个博文，因为觉得我水平实在有限，不过现在看来还是不论好坏，拖出来见见光好了。

所以这个系列的博文的主要内容是我每周Paper阅读的笔记整理，偶尔穿插着一些实验内容。文章的具体信息我会放置于末尾，有需要的同学请根据文章题目去寻找原始论文

2 Seq2Seq是什么

网上有很多关于Seq2Seq的解释，但是从我的角度来说，我愿意把Seq2Seq看做是：
从一个Sequence做某些工作映射到（to）另外一个Sequence的任务
具体结合实际应用来说，如下的连个任务都可以看做是Seq2Seq的任务“
1、SMT翻译任务（源语言的语句 -> 目标语言的语句）
2、对话任务（上下文语句->应答语句）
这里写图片描述
诸如上图，其实也就是一个示例（从ABC

最低0.47元/天 解锁文章
深度学习（BOT方向） 学习笔记（2） RNN Encoder-Decoder 及 LSTM 学习
MebiuW的专栏
11-25 1万+
深度学习（BOT方向） 学习笔记（2） Sequence2Sequence 学习21 前言这个系列的笔记拖了很久了，一直没时间仔细详细写，一来是因为自己能力不足，学习进度也很慢，二是真的很懒，也没有什么outline，所以一直拖着没写，现在终于挤出第二篇来了。话说之前的第一篇，我很匆忙的写了写Sequence2Sequence RNN-Encoder-Decoder的框架，写的不是很认真，这篇博客则
Sequence to Sequence Learning with Neural Networks论文笔记
u013261340的博客
09-24 2123
摘要 Dnn是强大的模型，在困难的学习任务上取得了出色的表现。尽管每当有很大的标签训练集时，DNN都能很好的工作，但是他们不能用于将序列映射到序列的工作。在本文中，我们提出了一般端到端的方法，对序列标签做出最小假设。我们的方法使用多层LSTM将输入序列映射到固定维度的向量，然后在使用另一个深LSTM来从向量中解码目标序列。 Introduction (1)DNN介绍，举例。很强大 （2）尽
sequence-to-sequence learning
12-18
机器学习之sequence to sequence learning。（Sequence Generation-----Hung-yi Lee 李宏毅.ppt）
长短期记忆网络（LSTM）模型直观理解
最新发布
hongshanqu的博客
11-16 1349
再将更新后的细胞状态（$C_t$）通过 tanh 压缩到 $- 1$和$1$ 之间，两者点乘得到当前输出（$h_t$），同时$h_t$也是输向下一个LSTM的隐藏状态。实现：接收上一时刻输出（$h_{t-1}$）和当前输入（$x_t$），通过 sigmoid 计算出“遗忘权重”，在$(0,1)$之间，与细胞状态（$C_{t-1}$）点乘，效果是根据当前信息弱化长期信息中的某些信息。比如units =50，表示隐藏状态 ($h_t$) 的维数和细胞状态 ($c_t$) 的维数两者都是 50 维。
Sequence学习
weixin_34129145的博客
09-02 185
在oracle中sequence就是所谓的序列号，每次取的时候他会自动增加，一般用在需要按序列号排序的地方。1、语法创建sequenceCREATE SEQUENCE [ schema. ]sequence [ { INCREMENT BY |START WITH } integer | { MAXVALUE integer |NOMAXVALUE } ...
大牛讲堂 | 深度学习Sequence Learning技术分享
weixin_33826268的博客
08-01 1153
雷锋网按：本文作者都大龙，2011年7月毕业于中科院计算技术研究所；曾任百度深度学习研究院（IDL）资深研发工程师，并连续两次获得百度最高奖—百万美金大奖；现在Horizon Robotics负责自主服务机器人、智能家居以及玩具方向的算法研究与开发，涉及深度学习、计算机视觉、人机交互、SLAM、机器人规划控制等多个领域。 深度学习独领风骚 人工智能领域深...
台湾大学深度学习课程 学习笔记 Lecture 5-2: Sequence Generation
scxyz的博客
01-15 2255
以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html GenerationRNN的应用方法 sentences是由characters/word 组成； 使用RNN的方法每次生成一个characters/word X 是之前产生的一个word，用one-hot-encodi
深度学习（BOT方向） 番外1 Seq2Seq的变种VHRED MrRNN
MebiuW的专栏
11-27 3606
系列目录： 要不，和机器聊聊？– 小谈Bot系统 Seq2Seq Chatbot 聊天机器人：基于Torch的一个Demo搭建 手札 深度学习（BOT方向） 学习笔记（1） Sequence2Sequence 学习 深度学习（BOT方向） 学习笔记（2） RNN Encoder-Decoder 及 LSTM 学习 深度学习（BOT方向） 番外1 Seq2Seq的变种VHRED MrRN
【学习笔记】深度学习-【2020版】【深版】
qq_51178589的博客
10-06 947
李宏毅深度学习2020学习笔记
sequence2sequence
c___c18的博客
06-11 1258
所谓的Seq2seq模型从字面上理解很简单，就是由一个序列到另一个序列的过程(比如翻译、语音等方面的应用)：那么既然是序列模型，就需要搭建一个RNN模型(神经单元可以是GRU模型或者是LSTM模型)下面两篇文章提出了这样的seq2seq的模型设计，引入了encode和decode机制。
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
weixin_34090643的博客
08-01 264
今天分享的paper是Incorporating Copying Mechanism in Sequence-to-Sequence Learning，作者来自香港大学和华为诺亚方舟实验室。 本文的模型通过借鉴人类在处理难理解的文字时采用的死记硬背的方法，提出了COPYNET。将拷贝模式融入到了Seq2Seq模型中，将传统的生成模式和拷贝模式混合起...
NLP基础之sequence2sequence
HAH--M的博客
02-03 3729
参考博客：https://zhuanlan.zhihu.com/p/38816145 1. 什么是序列到序列（seqence2sequence）? Seq2Seq模由encoder和decoder两个部分来构成，假设模型的训练样本为(X,Y)(X,Y)(X,Y)，encoder负责把输入XXX映射到隐向量ZZZ，再由decoder把ZZZ映射到输出YYY. 现在大多数场景下使用的Seq2Seq...
对ue4 sequence的学习和理解
kuangben2000的博客
05-03 3849
对ue4 sequence的学习和理解 https://zhuanlan.zhihu.com/p/351252543 项目中有大量的过场和事件，对sequence的需求量是比较大的，ue4的sequence又是一个可交互的东西，如果能进行二次开发必然是展现游戏的利器，所以需要花点时间对它进行深入的了解。 首先，要在c++中使用sequence开发，必须要先在你项目工程的.build.cs里加入四个常用的模块，分别是MoviePlayer, LevelSequence, MovieScene.这样，绝大
Convolutional Sequence to Sequence Learning卷积序列到序列模型的学习
DongxueB的博客
06-12 1664
在本笔记本中，我们将实现论文Convolutional Sequence to Sequence Learning模型。这个模型与之前笔记中使用的先前模型有很大的不同。根本没有使用任何循环的组件。相反，它使用通常用于图像处理的卷积层。简而言之，卷积层使用了过滤器。这些过滤器有一个宽度(在图像中也有一个高度，但通常不是文本)。如果一个过滤器的宽度为3，那么它可以看到3个连续的标记。每个卷积层都有许多这样的过滤器(本教程中是1024个)。每个过滤器将从开始到结束滑过序列，一次查看所有3个连续的标记。...
Oracle基础1 — sequence 序列
惊鸿一瞥
06-23 563
一. 关于序列 序列是一个Oracle对象，提供唯一的数字，在需要时根据指定的增量值来递增，通常是用于产生主键值。类似于SQL server中的identity（int,1,1) 或者列为identity列。SQL server可以直接将列指定为IDENTITY列，在使用的时候可以不需要理会IDENTITY列，系统会自动递增，这样看来SQL Server中主键的产生更为方便。 1.序列的特性
注意力机制（Attention）：Seq2Seq模型的改进
RuizhiHe
07-12 3967
1. 前言 本文讲解Seq2Seq模型改进方法：注意力机制（Attention）。 本人全部文章请参见：博客文章导航目录 本文归属于：NLP模型原理与应用系列 前文：Sequence-to-Sequence模型原理 2. Seq2Seq模型缺点 Seq2Seq模型有一个Encoder（编码器），和Decoder（解码器）。由于输入和输出均为序列数据，在深度学习时间中Encoder和Decoder一般均为结构相同的RNN。Encoder RNN对输入序列进行处理，将输入序列信息压缩到一个向量中。Encoder
seq2seq详解
huwenxing0801的博客
12-16 2351
前言 我们通常使用RNN来对序列到序列问题建模，但是使用RNN建模，输出序列的长度必须和输入序列的长度相等。seq2seq框架很好地解决了这个问题。本文介绍了两种最常见的seq2seq框架。 seq2seq介绍： seq2seq模型，全称Sequence to sequence，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。Enco...
Seq2seq模型详解（attention mechanism+evaluation methods +Curriculum +Machine Translation）
一个nlp探险者的博客
09-02 2153
引言 Seq2seq Framework attention mechanism BLEU ROUGE evaluation methods training mechanism Machine Translation
Seq2Seq模型详解
qq_42791848的博客
01-08 2154
Seq2Seq 在RNN模型需要解决的问题中，有一类N v M的问题，即输入输出不等长问题。例如Machine Translation、Summarization就是这类问题的一些经典粒例子。这种结构又叫做Seq2Seq模型，或者叫Encoder-Decoder模型。 Intuition 我们以机器翻译问题为例，对于机器翻译问题，我们的任务是将一种语言的一句话翻译成另一种语言的一句话。那么显而易见的是，这就涉及到NLU(文本理解)和NLG(文本生成)任务。 Seq2Seq中的NLU 首先，我们需要使用一种语
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值