关于RNN（Seq2Seq）的一点个人理解与感悟

最新推荐文章于 2025-05-26 11:12:58 发布
最新推荐文章于 2025-05-26 11:12:58 发布
阅读量3.6k 收藏 11
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习与神经网络推理 文章标签： RNN CNN Seq2Seq 增强学习 存储网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liuyuemaicha/article/details/56684516
本文为作者在近三个月深度网络学习过程中的个人总结与感悟。作为初学者，希望通过这些经验分享对未来的学习和实验有所启发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

自己在这近三个月的深度网络学习中的一点小小总结与感悟，希望对自己的后面学习和实验能有所启发。
博主还是初学者，描述有误的地方，欢迎大家指出~
注：前半部分是小小总结，后半部分是小小感悟

这里写图片描述

【Seq2Seq】相关理论基础与RNN的相应变体
当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。
05-07 885
1. 发展历程 Seq2Seq在2014年顶会正式被提出，其中在同一年有两篇文章都用到了序列到序列，编码器解码器的方式实现机器翻译。其中GPU也在2014年被提出。 在2015年，针对Seq2Seq的一些问题，提出了注意力Attention机制，已经逐步开始爆发。 在2017年，谷歌发表了一篇Attention is All you need，将注意力机制推到了顶峰，其中也有学者用Self-Attention来替代cnn和Rnn 2. 基础理解 2.1 基础的神经网络 传统的单层神经网络，就是传入一个输出
【NLP Transformer】机器学习中自回归、自编码、Seq2Seq模型的区别
weixin_49986678的博客
04-18 1681
本文讨论自回归模型、自编码模型、Seq2Seq模型这三种编码器-解码器（encoder-decoder）架构的重叠和差异。我们首先会介绍编码器-解码器架构的基础知识，以提供最必要的背景知识。本文还简要介绍了经典或Vanilla（香草，计算机领域是普通的标准的、无扩展的意思）Transformer架构。接着，我们转向自回归模型，紧接着会介绍自编码模型，并且会看到当这两种模型组合时，我们就得到了Seq2Seq或者叫序列到序列模型。
RNN之seq2seq模型
weixin_42208646的博客
03-09 3872
1.RNN模型概述 RNN大致可以分为4种,输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。 如下图所示： one to one 结构: 仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。one to many 结构:给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。many to one 结构: 给一系列输入得到...
Seq2Seq - 序列到序列的学习(RNN循环神经网络)
西小庄村高伟 的博客
10-28 1113
Seq2Seq，编码器与解码器、掩蔽交叉熵损失函数、机器翻译的应用、BLEU评价指标
一文彻底搞懂RNN - 序列到序列（Seq2Seq）
最新发布
2503_90237586的博客
05-26 840
每个时间点的数据都可以看作是序列的一个项，它们按照时间顺序排列，形成了时间序列数据。音频信号：音频信号可以被看作是一个连续的序列，每个时间点的振幅值构成了序列的一部分。编码器负责将输入序列转换为一个固定长度的上下文向量（Context Vector）或隐藏状态序列，以捕捉输入序列中的语义信息。在每个时间步，解码器接收上一个时间步的输出（或起始标记）和编码器的上下文信息，生成当前时间步的输出，并更新其内部状态。在每个时间步，解码器根据编码器输出的上下文信息和上一个时间步的输出，生成当前时间步的输出。
RNN总结
weixin_30493401的博客
08-27 128
RNN既可以表述为循环神 经网络（recurrent neural network），也可以表述为递归神经网络（recursive neural network），前者一般用于处理以时间序列为输入的问题（比如把一个句子看成词组成的序列），每次向循环神经网络输入一个词，知道整个句子输入结束。后者一般用于处理图结构或树结构问题（比如为了处理歧义问题，我们构造语法树为输入，而不是循环输入每一个词）。 ...
RNN
weixin_43310853的博客
02-29 132
做这样的笔记现在只是肤浅的认识，相信以后会有深入的感悟和更加熟练的应用 文章目录1.循环神经网络简介2.前向传播和随时间反向传播3.梯度消失或者爆炸 1.循环神经网络简介 下面是各个参数的含义 xtx_{t}xt​是t时刻的输入 ata_tat​是时刻ttt的隐层状态,由前一时刻的隐层状态和当前时刻的输入进行计算; ata_tat​可以认为是网络的记忆状态，可以认为捕获之前所有时刻发生...
NLP RNN 序列 seq2seq 讲解
02-22
NLP RNN 序列 seq2seq 讲解 NLP（Natural Language Processing，自然语言处理）是人工智能领域中的一支，旨在使计算机能够理解、处理和生成人类语言。RNN（Recurrent Neural Network，递归神经网络）是深度学习中的...
RNN+Attention实现Seq2Seq中英文机器翻译（pytorch）实现
12-22
本项目使用RNN（循环神经网络）与Attention机制结合实现Seq2Seq（Sequence to Sequence）模型，以进行中英文之间的翻译。PyTorch是一个流行的深度学习框架，它提供灵活的API来构建和训练复杂模型，这里我们将详细...
rnn的matlab代码实现-seq2seq-attention:seq2seq-注意
05-24
rnn的matlab代码实现seq2seq-注意 介绍 该代码实现了RNN / LSTM / GRU seq2seq和seq2seq +注意模型，用于单词级的训练和采样。 您可以在Bot，自动文本摘要，机器翻译，问题解答系统等中应用它。在这里，我们向您展示...
seq2seq:基于RNN的序列到序列架构的PyTorch实现
05-26
seq2seq seq2seq-pytorch是一个框架，用于在实现的基于注意力的序列到序列模型。 该框架具有用于seq2seq模型，训练，推理，检查点等的模块化和可扩展组件。 介绍 Seq2seq将一个序列转换为另一序列。 它通过使用递归...
神经机器翻译（seq2seq RNN）实现详解
weixin_30596735的博客
08-02 1123
http://c.biancheng.net/view/1947.html seq2seq 是一类特殊的 RNN，在机器翻译、文本自动摘要和语音识别中有着成功的应用。本节中，我们将讨论如何实现神经机器翻译，得到类似于谷歌神经机器翻译系统得到的结果（https://research.googleblog.com/2016/09/a-neural-network-for-machine.html）。...
RNN、Seq2Seq、Attention
m0_64617114的博客
11-29 1867
一、RNN结构及使用 每个神经元接受的输入包括：前一个神经元的隐藏层状态 h (用于记忆) 和当前的输入 x (当前信息)。神经元得到输入之后，会计算出新的隐藏状态 h 和输出 y，然后再传递到下一个神经元。因为隐藏状态 h 的存在，使得 RNN 具有一定的记忆功能。 针对不同任务，通常要对 RNN 模型结构进行少量的调整，根据输入和输出的数量，分为三种比较常见的结构：N vs N、1 vs N、N vs 1。 1.1 N vs N 输入和输出序列的长...
Seq2Seq 模型详解
热门推荐
Angus的学习笔记
04-20 2万+
在NLP任务中，我们通常会遇到不定长的语言序列，比如机器翻译任务中，输入可能是一段不定长的英文文本，输出可能是不定长的中文或者法语序列。当遇到输入和输出都是不定长的序列时，可以使用编码器-解码器（encoder-decoder）模型或者seq2seq模型。其基本思想是编码器用来分析输入序列，解码器用来生成输出序列。 首先，来简单介绍下RNN（循环神经网络）结构： 1. RNN 结构 RNN结构 RNN中，每个单元接受两个输入，一个是当前时间步输入的信息 XtX_tXt​，另一个是上一个单元的隐藏层状态 H
Seq2Seq的缺点及加入注意力机制改进的意义
weixin_42609225的博客
01-14 396
Seq2Seq 的缺点之一是它在处理长度较长的序列时会出现记忆不足的问题。加入注意力机制可以解决这个问题，因为它能够让模型在生成长度较长的序列时，根据当前生成的部分和原始序列之间的相似性来动态地调整对原始序列的关注度，从而更好地处理长度较长的序列。 ...
seq2seq模型详解及对比（CNN，RNN，Transformer）
DongxueB的博客
06-07 1876
seq2seq序列模型
NLP：HMM、MEMM、CRF序列标注
Puzzle的博客
05-15 2262
前言 概率序列模型：它的工作是为序列中的每个单元分配一个标签或类，从而将一个观察序列映射到一个标签序列。给定一个单位序列(单词、字母、语素、句子，等等)，它计算可能的标签序列的概率分布，并选择最佳的标签序列，即Seq2Seq。 Markov Chains马尔科夫链 图中节点表示状态，弧线表示状态的转移，其上数字表示转移的概率（注：离开给定状态的弧的值之和必须为1 一个马尔可夫链由以下部分组成： HMM 隐式马尔可夫模型 在许多情况下，我们...
序列模型懒人简介（RNN、Seq2Seq、LSTM、GRU、Transformer）
weixin_44371912的博客
09-14 1822
点关注不迷路哦!点关注不迷路哦!点关注不迷路哦! RNN主要用于处理序列数据。RNN采用循环的结构，每个单元的输出与当前输入和之前的隐状态向量有关，每个单元输出一个预测值和传递到下一个单元的隐状态向量。很容易发现RNN有以下问题：1、输入与输出长度相同；2、不适合解决长期依赖。 Seq2Seq结构，采取了两个RNN结构，一个作为解码器encoder，一个作为编码器decoder。解码器将序列数据转化为上下文向量，编码器解析这个向量，当输出为停止符时结束。显然，Seq2Seq的提出是为了适应输入输出长度不同
Seq2Seq模型编码与解码实现：从RNN到Transformer
内容涉及了人工智能和深度学习的核心概念与技术，对于想要深入理解和实践Seq2Seq模型的开发者和研究人员来说，是一份不可多得的学习材料。 首先，我们将从RNN开始探讨。RNN是处理序列数据的一种有效神经网络架构，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值