TextRNN pytorch实现

已于 2022-06-27 10:32:54 修改
阅读量742 收藏 8
点赞数
文章标签： pytorch rnn 深度学习
于 2021-11-03 14:49:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_50896529/article/details/121116454
版权
本文介绍了RNN及其变体LSTM，详细阐述了TextRNN的网络结构，包括BiLSTM和多层RNN的使用。通过一个简单的代码实现展示了TextRNN在IMDB电影评论情感分析任务中的应用，包括数据预处理、模型构建、训练和验证过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Recurrent Neural Networks

RNN用来处理序列数据
具有记忆能力

Simple RNN

在这里插入图片描述

  • h t h_t ht​：状态矩阵，不断更新（h_0: the;h_1: the cat…）
  • 只有一个参数矩阵A：随机初始化，然后用训练数据来学习A
    在这里插入图片描述
  • 为什么需要tanh激活函数：如果不激活可能会出现梯度消失或者梯度爆炸。

LSTM

  1. LSTM可以避免梯度消失的问题
  2. LSTM的记忆力要比SimpleRNN强

结构图：
在这里插入图片描述

  1. LSTM有四个参数矩阵
  2. 传送带（conveyor bert）：过去的信息可以直接传送到未来。
  3. 过去的信息直接通过 C t C_t Ct​传送到下一个时刻，不会发生太大的变化（以此避免梯度消失）

1. Forget Gate

  • f为遗忘门矩阵，为0就不通过
    在这里插入图片描述
  • W f W_f Wf​：参数矩阵，通过反向传播从训练数据中学习
    在这里插入图片描述

2. Input Gate

  • W i W_i Wi​：参数矩阵，通过反向传播从训练数据中学习
    在这里插入图片描述

3. New Value

在这里插入图片描述
在这里插入图片描述

4. Output Gate

在这里插入图片描述

  • Two Copies of ht:
    • 一个作为输出
    • 另一个传入到了下一步

改进RNN

  1. 多层RNN
  2. 双向RNN
  3. 预训练（预训练embedding层）

TextRNN

文本分类任务中，CNN可以用来提取句子中类似N-Gram的关键信息，适合短句子文本。TextRNN擅长捕获更长的序列信息。具体到文本分类任务中，从某种意义上可以理解为可以捕获变长、单向的N-Gram信息（Bi-LSTM可以是双向）。

一句话简介：textRNN指的是利用RNN循环神经网络解决文本分类问题，通常使用LSTM和GRU这种变形的RNN，而且使用双向，两层架构居多。

1. TextRNN简介

基本处理步骤：

  1. 将所有文本/序列的长度统一为n；对文本进行分词，并使用词嵌入得到每个词固定维度的向量表示。
  2. 对于每一个输入文本/序列，我们可以在RNN的每一个时间步长上输入文本中一个单词的向量表示，计算当前时间步长上的隐藏状态，然后用于当前时间步骤的输出以及传递给下一个时间步长并和下一个单词的词向量一起作为RNN单元输入。
  3. 再计算下一个时间步长上RNN的隐藏状态
  4. 以此重复…直到处理完输入文本中的每一个单词，由于输入文本的长度为n，所以要经历n个时间步长。

2. TextRNN网络结构

流程：embedding—>BiLSTM—>concat final output/average all output—–>softmax layer
在这里插入图片描述
两种形式：

  1. 一般取前向/反向LSTM在最后一个时间步长上隐藏状态，然后进行拼接，在经过一个softmax层(输出层使用softmax激活函数)进行一个多分类；
  2. 取前向/反向LSTM在每一个时间步长上的隐藏状态，对每一个时间步长上的两个隐藏状态进行拼接，然后对所有时间步长上拼接后的隐藏状态取均值，再经过一个softmax层(输出层使用softmax激活函数)进行一个多分类(2分类的话使用sigmoid激活函数)。

上述结构也可以添加dropout/L2正则化或BatchNormalization 来防止过拟合以及加速模型训练。

简单代码实现

任务：输入前两个此，预测下一个词

import torch
import numpy as np
import torch.nn as nn
import torch.optim as optim
import torch.utils.data as Data

dtype = torch.FloatTensor

sentences = [ "i like dog", "i love coffee", "i hate milk"]

word_list = " ".join(sentences).split()
vocab = list(set(word_list))
word2idx = {
   w: i for i, w in enumerate(vocab)}
idx2word = {
   i: w for i, w in enumerate(vocab)}
n_class = len(vocab)

# TextRNN Parameter
batch_size = 2
n_step = 2 # number of cells(= number of Step) 输入有多少个单词
n_hidden = 5 # number of hidden units in one cell

def make_data(sentences):
    input_batch = []
    target_batch = []

    for sen in sentences:
        word = sen.split()
        input = [word2idx[n] for n in word[:-1]]
        target = word2idx[word[-1]]

        input_batch.append(np.eye(n_class)[input]) # one-hot编码
        target_batch.append(target)

    return input_batch, target_batch

input_batch, target_batch = make_data(sentences)
input_batch, target_batch = torch.Tensor(input_batch), torch.LongTensor(target_batch)
dataset = Data.TensorDataset(input_batch, target_batch)
loader = Data.DataLoader
最低0.47元/天 解锁文章
郑不凡
关注
rnn pytorch_pytorch介绍rnn字符级文本生成
weixin_26731327的博客
08-31 838
rnn pytorchToday, we’ll continue our journey through the fascinating world of natural language processing (NLP) by introducing the operation and use of recurrent neural networks to generate text from ...
文本分类系列(2):TextRNN及其pytorch实现
u014514939的博客
03-27 6495
[文本分类系列(1):TextCNN及其pytorch实现] (https://blog.youkuaiyun.com/u014514939/article/details/88834548) TextRNN 尽管TextCNN能够在很多任务里面能有不错的表现，但CNN有个最大问题是固定 filter_size 的视野，一方面无法建模更长的序列信息，另一方面 filter_size 的超参调节也很繁琐。CNN...
TextRNN pytorch 面向对象实践
12-21
TextRNN pytorch 实践 前言Embedding面向对象编程实现 TextRNN准备数据实现数据集转换：配置参数TextRNN 实现使用TextRNN训练 和测试数据数据集下载： 前言 首先吐槽一下 ，研究机器学习深度学习的时候 发现 各路大神 都是面向过程编程 ，非常简单的东西看的也是云里雾里，代码面向对象编程 很多东西一看就能看明白， 希望借此能抛砖引玉。 另外命名也喜欢用 驼峰命名法 Embedding 理解 textRNN 之前 首先得理解 Embedding ，把这个东西了解了 其他的东西 就是 RNN。 一般处理 文档的时候 遵循下面几步： 将文档变成 [
TextRNN的PyTorch实现
mathor的博客
07-02 1514
本文介绍一下如何使用PyTorch复现TextRNN，实现预测一句话的下一个词 参考这篇论文Finding Structure in Time(1990)，如果你对RNN有一定的了解，实际上不用看，仔细看我代码如何实现即可。如果你对RNN不太了解，请仔细阅读我这篇文章RNN Layer，结合PyTorch讲的很详细 现在问题的背景是，我有n句话，每句话都由且仅由3个单词组成。我要做的是，将每句话的前两个单词作为输入，最后一词作为输出，训练一个RNN模型 导库 ''' code by Tae Hwan J
SDU创新实训 12.使用TextCNN对短文本进行分类（Pytorch实现）
SDU硕硕硕的博客
06-04 369
知识问答模块，增加问题数量和种类，原先的朴素贝叶斯分类感觉效果不好，遂利用TextCNN进行深度学习训练，效果较好
TextCNN网络详解（pytorch实现文本分类）
weixin_64017116的博客
05-13 1784
textcnn网络在NLP文档分类任务上有较好的性能，让我们来了解一个TextCNN的网络结构及pytorch代码实现
文本分类TextRNN_Att模型（pytorch实现）
weixin_64017116的博客
05-15 1194
TextRNN_Att模型在TextRNN的基础上添加了Attention模块 使提取到的特征更具针对性
pytorch搭建TextRNN与使用案例
呆萌的代Ma
07-29 612
文章目录生成训练数据构建TextCNN开始训练构建训练数据集训练三件套：模型，loss，优化器开始训练完整代码 生成训练数据 这里使用随机数生成训练数据，大家在自己写的时候只需要替换这里就OK了： def get_total_train_data(word_embedding_size, class_count): """得到全部的训练数据，这里需要替换成自己的数据""" import numpy as np x_train = torch.Tensor(np.random.rand
pytorch自然语言处理基础模型之四：TextRNN
weixin_43632501的博客
08-26 730
1、模型原理        RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面...
Pytorch 实现文本分类
06-11
文本分类的标准代码，Pytorch实现 数据集Dataset - IMDB - SST - Trec ### 模型 - FastText - BasicCNN (KimCNN,MultiLayerCNN, Multi-perspective CNN) - InceptionCNN - LSTM (BILSTM, StackLSTM) - LSTM with Attention (Self Attention / Quantum Attention) - Hybrids between CNN and RNN (RCNN, C-LSTM) - Transformer - Attention is all you need - ConS2S - Capsule - Quantum-inspired NN
python使用RNN实现文本分类
01-20
本文实例为大家分享了使用RNN进行文本分类，python代码实现，供大家参考，具体内容如下 1、本博客项目由来是oxford 的nlp 深度学习课程第三周作业，作业要求使用LSTM进行文本分类。和上一篇CNN文本分类类似，本此代码风格也是仿照sklearn风格，三步走形式（模型实体化，模型训练和模型预测）但因为训练时间较久不知道什么时候训练比较理想，因此在次基础上加入了继续训练的功能。 2、构造文本分类的rnn类，(保存文件为ClassifierRNN.py) 2.1 相应配置参数因为较为繁琐，不利于阅读，因此仿照tensorflow源码形式，将代码分成 网络配置参数 nn_conf
Pytorch实现基于CharRNN的文本分类与生成示例
09-18
今天小编就为大家分享一篇Pytorch实现基于CharRNN的文本分类与生成示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
用RNN训练语言模型生成文本
01-27
本文来自于简书，本文通过介绍 LanguageModel，怎么实现以及应用，诠释了如何用RNN建立 LanguageModel生成文本。 LanguageModel是NLP的基础，是语音识别,机器翻译等很多NLP任务的核心。 参考：实际上是一个概率分布模型P，对于语言里的每一个字符串S
pytorch搭建TextRNN做文本分类，TextRNN加Attention做对比
weixin_43918046的博客
10-10 3072
数据集来源：天池零基础入门NLP - 新闻文本分类。 完整工程代码点击这里。 数据集比较庞大，14个类别，每个文本平均长度为900。一开始就是搭建了很简单的RNN，然后出问题了，模型不收敛，后来看到其他大佬分享的baseline，基本都是把文本截断的，截断到250左右。 于是我截断了下，模型有点收敛了，但是跑了几十个epoch还是0.3的精度上不去。。。。 然后又找了别人 的TextRNN模型框架，发现了有个很细微的区别，别人的Lstm里面加了dropout，我就有点儿懵，这不是防过拟合的吗？这个模型都还没
pytorch中textrnn对应的结构理解
小姑仔的博客
11-09 990
首先贴出一张经典的textrnn的流程图 对应的textrnn的结构如下： ~~~python import torch import torch.nn as nn rnn = nn.RNN(10,20,2) #10为输入x的特征大小，20为隐藏层h的特征大小 #2为循环层的数量(RNN中重复的部分) #input_size = 10,hidden_size = 20,num_layers = 2 input = torch.randn(5,3,10) h0 = torch.randn(2,3,20
【Pytorch官方教程2】字母级RNN的生成任务
qq_45677854的博客
05-23 259
【Pytorch官方教程2】字母级RNN的生成任务 #代码的第一部分仍然需要将/name/[Language].txt中的所有文件读取进来 #n_letters表示所有字母的数量。<EOS>符号用来结束文本生成的过程，在本次实验中，我们使用他来结束RNN的循环 #由于某些语言和常见的英文不太一样，所以我们需要转化函数---unicodeToAscii（） from __future__ import unicode_literals, print_function, division from
在Pytorch中调用RNN模型的小细节
weixin_48592695的博客
09-05 546
在pytorch中调用RNN模型的时候，使用self.rnn = nn.RNN(embedding_num,hidden_num)往往忽略了其中的一个参数，在点开RNN源码的时候，可以看到其中batch_first这个参数：
【Pytorch官方教程】从零开始自己搭建RNN2 - 字母级RNN的生成任务
⚡
06-03 1609
这是官方教程中同一个系列的文章，总共有3篇： 第一篇，教你搭建一个字母级别（character-level）的RNN，对名字进行分类，是一个分类的任务。 第二篇，教你搭建一个字母级别（character-level）的RNN，生成名字，是一个自然语言生成的任务。 第三篇，教你搭建一个Seq2Seq的RNN，进行机器翻译，也是一个自然语言生成的任务。Seq2Seq是序列到序列的模型，类似于单词级别（word-level）的RNN。
pytorch textrnn
最新发布
12-29
### 如何用 PyTorch 实现 TextRNN TextRNN 是一种用于文本分类和其他自然语言处理任务的有效模型。该模型基于 RNN 架构，在每个时间步上接收输入词向量并更新隐藏状态，最终通过全连接层输出预测结果。 #### 1. 导入必要的库 为了构建 TextRNN 模型，首先需要导入所需的 Python 库： ```python import torch from torch import nn, optim import torch.nn.functional as F ``` #### 2. 定义 TextRNN 类 定义 `TextRNN` 类继承自 `nn.Module` 并初始化参数，包括嵌入矩阵、RNN 层以及线性变换层等组件[^2]。 ```python class TextRNN(nn.Module): def __init__(vocab_size, embed_dim=100, hidden_dim=128, num_layers=2, output_dim=2): super(TextRNN, self).__init__() # 嵌入层 self.embedding = nn.Embedding(vocab_size, embed_dim) # 双向 GRU/RNN/LSTM 层 self.rnn = nn.GRU(embed_dim, hidden_dim, num_layers=num_layers, bidirectional=True, batch_first=True, dropout=0.5) # 输出层 self.fc = nn.Linear(hidden_dim * 2, output_dim) def forward(self, text): embedded = self.embedding(text) # [batch size, seq_len, emb_dim] outputs, _ = self.rnn(embedded) # [batch size, seq_len, hid_dim*directions] encoding = torch.mean(outputs, dim=1) # 对所有时刻取平均作为句子表示 logits = self.fc(encoding) # [batch size, out_dim] return logits ``` 此部分代码实现了双向门控循环单元 (GRU)，可以替换为其他类型的 RNN 或 LSTM 单元以适应具体应用场景的需求。 #### 3. 训练过程设置 创建实例化对象后即可开始训练流程，这里省略了数据预处理步骤，假设已经准备好了一批批次大小相同的数据集 `train_loader` 和相应的标签 `labels`: ```python device = 'cuda' if torch.cuda.is_available() else 'cpu' model = TextRNN(vocab_size=len(vocab), embed_dim=300).to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) for epoch in range(num_epochs): model.train() for i, (texts, labels) in enumerate(train_loader): texts, labels = texts.to(device), labels.to(device) optimizer.zero_grad() # 清除梯度缓存[^1] predictions = model(texts) loss = criterion(predictions, labels) loss.backward() optimizer.step() if i % log_interval == 0: print(f"Epoch [{epoch}/{num_epochs}], Step [{i}/{len(train_loader)}], Loss: {loss.item():.4f}") ``` 上述代码展示了完整的训练迭代逻辑，其中包含了清除旧有梯度的操作以防止累积错误的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值