NLP实践项目五：基于GRU的古诗生成（pytorch实现）

最新推荐文章于 2024-03-14 21:00:56 发布
原创 最新推荐文章于 2024-03-14 21:00:56 发布 · 3.4k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用PyTorch实现基于GRU的古诗生成项目。数据预处理涉及将古诗整理成适合torchtext读取的格式。模型是一个简单的GRU模型，训练时采用teaching forcing策略。测试阶段可以生成以指定文字开头的藏头诗或以整句为开头的古诗。由于数据集较小，实际生成效果还有待提高。

直接看代码：github传送门
数据集：古诗数据集

1. 数据预处理：

在这里插入图片描述
将古诗存为上图的格式，每行一首诗，便于使用torchtext读取。

2. 模型定义

    模型就是一个简单的GRU模型，

3. 模型训练和测试

    训练过程中如同翻译模型中的teaching forcing，输入是 [ < s t a r t > , x 1 , x 2 , . . . x n ] [<start>,x_1, x_2, ... x_n] [<start>,x

最低0.47元/天 解锁文章
自然语言处理之文本生成：Gated Recurrent Unit (GRU)：GRU模型详解
zhubeibei168的博客
05-20 924
文本生成是自然语言处理（NLP）领域的一个重要任务，涉及使用机器学习模型来创建新的、连贯的文本。这一任务在多个场景中都有应用，如自动写作、聊天机器人、代码生成等。文本生成的核心在于模型能够理解语言的结构和语义，并基于此生成新的内容。在深度学习时代，循环神经网络（RNN）及其变种，如长短期记忆网络（LSTM）和门控循环单元（GRU），成为了文本生成任务的主流模型。这些模型能够处理序列数据，捕捉长期依赖关系，非常适合处理文本这样的序列信息。
PyTorch示例——使用Transformer写古诗
最新发布
蒋含竹的博客
04-03 3377
很早、很早以前，在TensorFlow2 学习——RNN生成古诗词_rnn古诗生成头词汇是 “ 日 、 红 、 山 、 夜 、 湖、 海 、 月。-优快云博客中已使用TensorFlow+RNN的方式实现过写古诗的功能，现在来个的示例😄数据处理逻辑和前面博文中大致相似，本文中就不再赘述Kaggle Notebook地址:PyTorch示例-使用Transformer写古诗x"""词典编码器"""# 补上特殊词标记：开始标记、结束标记、填充字符标记、未知词标记# 词汇表大小。
PyTorch | 基于GRU模型的古诗AI实践
木千之
08-31 505
接下来需要定义我们自己的GRU模型，由于PyTorch的模型都源于共同的父类nn.Module，因此需要在定义时建立继承关系。我们的GRUModel类中主要包含两部分：①初始化构造函数：首先调用父类的初始化函数，然后将所需数据全部内化为类内数据；接下来定义神经网络结构中各个组成部分，如GRU层、flatten层、dropout层、全连接fc层以及交叉熵损失函数②定义前向传播函数：主要用于PyTorch构造计算图，按数据流向顺序组合神经网络中定义的各个层即可。
整合Tkinter GUI界面的古诗词词云生成
DumbbellYang的专栏
12-28 1464
使用Python语言，基于Tkinter GUI界面的古典诗词词云生成，可以选择唐诗三百首，宋词三百首，宋诗三百首，元曲三百首及佛诗三百首作为数据源，也可以选择摸一个作者的作品生成。词云GUI显示，图片自动保存。
使用LSTM进行诗歌创作（pytorch版本）
weixin_48799576的博客
06-15 937
这种方式本质上是一种自回归模型，模型生成的每个事件都将依赖于之前生成的输出，这样的好处在于可以考虑到文本序列的上下文信息，每个事件不依赖于之前的内容，从而可以捕捉到文本序列中的上下文相关性，使生成的内容更加连贯。然而，由于每次生成的内容都依赖于之前的输出，随着生成内容的增长，误差也会累积，一旦前面生成的内容出现错误就会导致后面误差越来越大。并且自回归模型的生成过程是串行的，每个时间步只能依赖前一个时间步的输出，无法并行生成多个时间步的输出，因此生成速度较慢。
使用GRU单元的RNN模型生成唐诗
Michael是个半路程序员
12-11 1116
文章目录1. 读取数据2. 字符索引3. 创建文本序列4. 创建文本编码序列5. 使用GRU单元建立RNN模型6. 文本生成 参考 基于深度学习的自然语言处理 本文使用 GRU 单元建立 RNN 网络，使用唐诗三百首进行训练，使用模型生成唐诗。 GRU RNN 网络能够克服简单RNN网络的一些问题，如梯度消失，梯度很难从深层传递到浅层，导致浅层的参数更新非常缓慢，学习速度很慢，还导致深层浅层学习不均衡。 GRU，LSTM 使用更新门，遗忘门，来解决长距离的依赖关系，GRU相比LSTM参数更少。 RNN 网络
中文自然语言处理--基于双向GRU 生成各种古诗
糯米君的博客
03-27 1034
使用 LSTM 的变形 GRU 中文字符级建模，训练出一个能作诗的模型 数据集集为4000+古诗，一行一首，标题、作者已去掉： https://download.youkuaiyun.com/download/fgg1234567890/16153813 import os import random import pandas as pd import numpy as np # 引入需要的模块 from keras.layers import Bidirectional from keras.layers impo
NLP-Beginner 任务五：基于神经网络的语言模型+pytorch
0oTedo0
12-14 2987
NLP-Beginner任务五：基于神经网络的语言模型 用LSTM、GRU来训练字符级的语言模型，计算困惑度
基于循环神经网络(RNN)的古诗生成器
09-20
循环神经网络（RNN）是一种专门处理序列数据的深度学习模型，因其在处理自然语言、音乐等时间序列问题上的出色表现而广泛应用于机器翻译、文本生成、语音识别等领域。在这个项目中，RNN 被用来创建一个古诗生成器，...
05古诗生成项目（pytorch）（观看b站视频的笔记，代码即将实现）
qq_45637001的博客
09-13 2611
项目来源：B站上的up主 jucheng《基于pytorch_LSTM古诗生成》 https://www.bilibili.com/video/BV1G54y177iw真的是一个宝藏up主，讲解很详细，而且声音跟我的很像？有那么一瞬间我感觉我听见了回声，也许是错觉，也是立即点了一个关注。代码、数据可以去他的网站上领取：http://www.zifuture.com:8090/archives/jiyu-lstm-gushi-cangtoushi） 下面是学习笔记，但是说实话up主在视频中手写的过程才是最大的
pytorch下使用LSTM神经网络写诗实例
09-18
今天小编就为大家分享一篇pytorch下使用LSTM神经网络写诗实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
自然语言处理NLP中文分词之古诗词库.zip
03-31
自然语言处理NLP中文分词之古诗词库
【NLP】LSTM 唐诗生成器 pytorch 版
x66ccff
11-03 1659
参考这篇文章将相关的 keras 模型代码进行修改，改成对应的 pytorch 模型，现将有区别的部分放在这里。
设计并实现古诗词生成模型，实现古诗词的自动生成。
weixin_35756624的博客
12-31 683
好的，设计并实现古诗词生成模型的步骤如下： 收集古诗词数据集：需要收集大量的古诗词数据，以便训练模型。可以从网络上搜索并收集古诗词数据，也可以从书籍或其他来源获取古诗词数据。 数据预处理：在收集完古诗词数据后，需要对数据进行预处理，包括去除标点符号、停用词等。 建立古诗词生成模型：根据预处理后的数据，可以使用机器学习模型来建立古诗词生成模型。可以使用循环神经网络(RNN)、卷积神经网络(CN...
【NLP】keras Transformer 唐诗生成器
x66ccff
10-23 1371
本文使用了 keras-transformer 第三方库，进行唐诗生成
NLP入门 - 基于Word Embedding + LSTM的古诗生成器
KGV093的博客
12-21 1530
一共实现三个功能： 1. 续写五言诗 2. 续写七言诗 3. 写五言藏头诗 之前用这个做Intro to Computer Science的期末项目折腾太久，不想赘述，内容介绍及实现方法可参考期末presentation的slides： https://docs.google.com/presentation/d/1DFy3VwAETeqK0QFsokeBpDwyVkMavOjpckQKpc6XPTI/edit#slide=id.gb037c6e317_2_312 训练数据来源： https:
pytorch之诗词生成3--utils
2202_76009199的博客
03-14 1359
后面的target = p_args[target_index] + 3，其中+3是必不可少的，我刚刚因为没有+3就运行报错了，因为我们得到的target是对应于token_ids的索引，而token_ids的前三项是特殊字符，为了和实际中的模型相对应，我们需要将预测的token编号做一些偏离处理。得到索引数组之后，我们通过p=_probas[p_args]，根据排名靠前的token的索引p_args，从预测的概率分布_probas中获取对应的概率值，这样得到的p就是排列后的概率顺序（概率值从大到小）。
pytorch之诗词生成5--train
2202_76009199的博客
03-14 1111
回调函数是在训练的过程中特定时间被调用的函数，用于执行一些额外的操作，回调函数是在每个训练周期结束后被调用，在每轮训练的on_epoch_end事件中，回调函数会被触发并执行相应的操作。在TensorFlow的回调函数中，logs是一个字典，其中包含了训练过程中的各种指标和损失值。是模型对象的方法，用于使用生成器进行模型训练。定义了一个回调类Evaluate，它是tf.keras.callbacks.Callback类的子类，回调函数是在训练的不同阶段调用的函数，用于执行额外的操作或监控模型的性能。
基于图片生成古诗（nlp）
weixin_44699048的博客
05-31 6733
项目简介：本项目可以通过分析所给的图片，提取其中的关键意向标签，并由关键词生成意境相关的五言绝句。 背景：通过阅读文献，我们了解到图片多分类、以及基于attention的Seq2Seq古诗生成模型已经较为成熟。我们很自然的想到是否可以把二者结合起来，使用分类后的图片标签作为生成古诗的关键词，那么基于图片生成古诗也就相应的实现。 模型和方法：1.图像识别 使用cifar-100数据集进行模型训练，数据集地址： http://www.cs.toronto.edu/~kriz/cifar.html?usg=alk
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值