RNN、LSTM、Seq2Seq模型以及Atttention机制

原创 于 2024-06-28 19:32:49 发布 · 1.3k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rnn #lstm #人工智能 #nlp

文章目录

1、生成类聊天机器人特点

在这里插入图片描述

2、RNN LSTM语言模型

2.1 语言模型

自然语言处理 （NLP）领域的一个核心技术，它的主要任务是对自然语言序列进行概率建模。 简单来说，语言模型就是用来计算一个句子或者一段文本在某种语言中出现的概率。 这个概率可以帮助我们理解和预测自然语言的生成规律，从而在各种NLP任务中发挥关键作用，如机器翻译、语音识别、文本生成等。
在这里插入图片描述

2.2语言模型的计算

在这里插入图片描述

2.3语言模型的应用

  • 语音识别
  • 机器翻译
  • 句法分析
  • 短语标注
  • 手写体识别
  • 拼写纠错

2.4语言模型的方法

  • 基于统计学习的（N——gram）
  • 基于机器学习和深度学习的（机器学习：svm等，深度学习：RNN,LSTM等）
    在这里插入图片描述
    在这里插入图片描述
    RNN存在的问题：
  • 梯度消息
  • 梯度爆炸
    在这里插入图片描述
    RNN处理序列的类型根据输入和输出的数量，有四种类型。绿色是输入，蓝色是输出，灰色是隐藏层，可捕捉序列前后的信息；并不是每一步都需要输入或者输出，但是隐藏层是不可少的。

同步序列中，Many to many 多对多，输入和输出的数量相同，可用在词性标注，输入一个句子，输出句中每个词的词性；Many to one 多对一，文本的情感分析，输入一句话，输出这句话表达的情绪是积极还是消极。

非同步序列中，Many to many 多对多，可被用作机器翻译，即输入一种语言的文字，输出另外一种语言的文字；One to many，一对多，输入一张图片，输出对于图片内容的描述。
在这里插入图片描述
双向RNN考虑上下文。

3、LSTM

LSTM(长短时记忆)可以缓解梯度消失和梯度爆炸的问题

最低0.47元/天 解锁文章
NayNuhcIem
关注
基于Seq2Seq的LSTM时间序列预测Python程序
黑科技小土豆的博客
02-20 1249
基于Sequence-2-Sequence，Encoder-Decoder（编码-解码）的LSTM预测模型
RNN、LSTM、Seq2Seq
condingggg的博客
08-12 1197
编码器提取特征之后就到了解码器，解码器靠编码器最后输出的特征也就是(ℎ,C)来知道这句话是"go away"，这里要强调一下Decoder的初始状态就是Encoder的最后一个状态h，现在Decoder开始输出德语字母，Decoder可以是LSTM模型，他每次接受一个输入然后输出下一个字母的概率，第一个输入必须是起始符，这就是我们为什么要在德语字典中要加入起始符的原因。，编码器一般是LSTM或者其他模型用于提取特征，它的最后的输出就是（从这句话）提取的最后的特征，而其他的隐层输出都被丢弃。
基于LSTM的seq2seq模型介绍以及相应的改进
yiyele的博客
06-26 1万+
简介 DNN模型在语言识别等任务上具有强大的能力，主要是因为DNN可以在适当步骤中进行并行计算，尽管DNN很灵活并很有用，但是DNN只能用于固定维度的输入以及输出的任务中，并且输入以及输出已知。因此，Ilya sutskever .et提出了基于LSTM模型的端到端的架构。其中用一个LSTM作为encoder，得到一个基于时间序列的向量表示，另外，用另一个LSTM网络作为decoder，从向量中...
时间序列预测实战(二十六)PyTorch实现Seq2Seq(LSTM)（结果可视化+自动保存结果）
Snu77的博客
12-08 9770
本文给大家带来的时间序列模型是Seq2Seq，这个概念相信大家都不陌生了，网上的讲解已经满天飞了，但是本文给大家带来的是我在Seq2Seq思想上开发的一个模型和新的架构，其是专门为新手开发的，而且为了方便大家使用只定义了一个文件方便大家复制粘贴，架构功能包括：结果可视化、支持单元预测、多元预测、模型拟合效果检测、预测未知数据、以及滚动长期预测功能。Seq2Seq模型是一种处理序列数据的深度学习思想，广泛用于机器翻译、语音识别和文本摘要等任务(也能用于时间序列)。其核心思想是编码器-解码器。
PyTorch搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
KI的博客
05-28 1万+
PyTorch搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
基于python使用中文语料和dynamic-rnn的seq2seq模型开发的中文聊天机器人+源码+开发文档+代码解析（高分项目
06-01
基于python使用中文语料和dynamic_rnn的seq2seq模型开发的中文聊天机器人+源码+开发文档+代码解析，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 项目简介： ...
NLP RNN 序列 seq2seq 讲解
02-22
Seq2seq 模型可以与 Attention 机制结合，实现高质量的机器翻译结果。 总结 Seq2seq 模型是一种强大的 NLP 模型，能够实现高质量的机器翻译、文本摘要、文本生成等结果。Seq2seq 模型的出现标志着 NLP 领域中的一...
RNN之seq2seq模型
weixin_42208646的博客
03-09 3915
1.RNN模型概述 RNN大致可以分为4种,输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。 如下图所示： one to one 结构: 仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。one to many 结构:给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。many to one 结构: 给一系列输入得到...
Seq2seq模型以及Attention机制
weixin_42254244的博客
05-26 893
RNN和LSTM 1.RNN
深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）
热门推荐
KI的博客
01-18 9万+
深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）
lstm_seq2seq.py例子
01-28
keras 官方例子，深度学习专用，机器学习专用，代码简单，
基于深度学习的seq2seq模型实现数字&字母排序供能----今年过节不送礼，要送就送源代码！！！
3/4的博客
09-24 641
# -*- coding: utf-8 -*- """ Created on Thu Aug 16 21:17:17 2018 @author: jack """ from __future__ import print_function import keras from keras.models import Model from keras.layers import Input, L...
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 2862
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
keras官方seq2seq模型实践
qq_33035933的博客
01-09 656
主要参考：https://blog.youkuaiyun.com/weiwei9363/article/details/79464789 以及keras官方代码:https://github.com/keras-team/keras/blob/master/examples/lstm_seq2seq.py from keras.models import Model from keras.layers imp...
torch平台--编码-解码网络结构LSTM seq2seq代码超级详细解析
Xiaoqing的博客
07-28 2656
  原理部分网上很多，参考一篇总结博客：seq2seq学习笔记 可惜代码很少。因此我分享一篇我看了6个小时之后写的详细代码解析。 大约60行左右，希望大家耐心看下去。   子函数引入 状态初始化子函数layer:_createInitState function layer:_createInitState(batch_size) if not self.init_state t...
keras 自然语言处理 lstm_seq2seq 案例分析
示例和笔记
06-11 734
这部分代码主要是使用Keras构建了一个LSTM Seq2Seq模型，将一个序列映射到另一个序列。简单的说，就是将输入语句翻译成另外一种语言。在该模型中主要分为编码器和解码器两个部分，建议在理解代码和注释后再进行深入学习。
睿智的seq2seq模型3——注意力机制概念详解与其在LSTM中的使用
Bubbliiiing的学习小课堂
01-16 1万+
睿智的seq2seq模型3——注意力机制概念详解与其在LSTM中的使用学习前言什么是注意力机制注意力机制的Keras实现1、生成数据集2、建立注意力模型3、建立整体神经网络代码&效果1、实现代码2、实现效果 学习前言 注意力机制很重要噢，要好好学习。 什么是注意力机制 假设我们要翻译一句话： 打电脑游戏。 也就是play computer game。 如果不引入注意力机制，那么我们从E...
matlab用lstm_lstm-seq2seq 源码解析
weixin_32528123的博客
01-12 1265
源代码地址：https://github.com/keras-team/keras/blob/master/examples/lstm_seq2seq.py相关博客：https://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.html可以先对博客中的内容进行阅读，下面主要记录，本...
seq2seq:LSTM+attention的生成式文本概要
qq_43012160的博客
11-23 2661
seq2seq:LSTM+attention的生成式文本概要 最近做的利用seq2seq模型的生成式文本概要，参考了这位大佬的源码： https://spaces.ac.cn/archives/5861/comment-page-1 数据集准备及预处理 我直接拿的新闻数据集的内容(content)和标题(title)，根据内容概括标题。 一般想要达到比较能看的结果的话需要10w左右的数据集，跑50...
rnn lstm gru 和seq2seq模型的关系
最新发布
01-15
### RNN、LSTM、GRU与Seq2Seq模型的关系 #### RNN基础架构及其局限性 循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的神经网络结构。其核心特点是能够利用先前时刻的信息来影响当前时刻的输出，这使得RNN非常适合处理具有时间顺序特征的数据集，比如自然语言文本或语音信号[^1]。 然而，在实际应用中发现标准形式下的RNN存在一些缺陷，尤其是在面对长时间跨度的任务时表现不佳——即所谓的“长程依赖问题”。当试图捕捉远距离位置间元素间的关联性时，由于反向传播过程中梯度消失现象的影响，传统RNN难以有效传递早期信息到后期节点上[^2]。 #### 解决方案：LSTM和GRU 为了克服上述挑战，研究者们提出了两种改进版本—长短记忆单元(Long Short-Term Memory unit,LSTM) 和门控循环单元(Gated Recurrent Unit, GRU)。这两种变体通过引入特殊的内部机制（如遗忘门、输入/更新门等），可以在一定程度上缓解甚至解决长期依赖带来的难题： - **LSTM**增加了三个主要组件：输入门控制新信息进入细胞状态；遗忘门决定哪些旧有信息应该被丢弃；输出门则负责筛选最终对外部世界可见的部分。 - **GRU**简化了这一设计思路，将输入门和重置门合二为一，并取消了单独存在的细胞状态概念，从而减少了参数数量并提高了计算效率。 这些变化不仅增强了模型的记忆能力，而且也改善了训练稳定性及收敛速度。 #### 序列到序列框架（Seq2Seq） 随着深度学习技术的发展，人们意识到单个方向上的简单线性连接不足以满足复杂任务需求，特别是涉及到两个不同长度序列之间映射的情况，例如机器翻译或多轮对话系统。因此出现了Sequence-to-sequence (简称Seq2Seq) 架构，它由编码器(encoder)-解码器(decoder)两部分组成，前者负责接收源端输入并将之转化为固定大小表示；后者基于此表征生成目标端输出。 在这个过程中，通常会采用双向RNN/Bi-LSTM作为构建模块之一，因为这样可以从正序和逆序两个角度获取上下文线索，进而提升整体性能。此外，Attention机制也被广泛应用于此类场景当中，允许模型动态关注重要片段而非平均对待整个句子范围内的每一个词项[^3]。 综上所述，虽然RNN家族成员各自具备独特优势，但在现代NLP实践中更多时候是以组合方式出现，共同服务于更加复杂的语义理解和表达任务之中。 ```python import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, num_layers=1): super(SimpleRNN, self).__init__() self.rnn = nn.RNN(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers) def forward(self, x): out, _ = self.rnn(x) return out class LSTMModel(nn.Module): def __init__(self, input_dim, hidden_dim, layer_dim, output_dim): super(LSTMModel, self).__init__() self.hidden_dim = hidden_dim self.layer_dim = layer_dim self.lstm = nn.LSTM(input_dim, hidden_dim, layer_dim, batch_first=True) def forward(self, x): h0 = torch.zeros(self.layer_dim, x.size(0), self.hidden_dim).requires_grad_() c0 = torch.zeros(self.layer_dim, x.size(0), self.hidden_dim).requires_grad_() out, (hn, cn) = self.lstm(x, (h0.detach(), c0.detach())) return out # Note: For simplicity only basic implementations are shown here. ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值