【ML&DL学习】20 rnn embedding text generation

最新推荐文章于 2024-10-13 03:30:51 发布
最新推荐文章于 2024-10-13 03:30:51 发布
阅读量259 收藏
点赞数
分类专栏： 机器学习之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42549254/article/details/104842413
版权
该博客探讨了RNN在文本生成任务中的应用，对比了单向和双向RNN的效果。实验显示，双向RNN相比单向RNN在准确率上有提升，但存在过拟合问题。通过学习曲线分析，提出了LSTM作为防止过拟合的解决方案，并介绍了数据预处理和模型构建的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

模型建立

embedding_dim = 16
batch_size = 512

single_rnn_model = keras.models.Sequential([
    # 1. define matrix: [vocab_size, embedding_dim]
    # 2. [1,2,3,4..], max_length * embedding_dim
    # 3. batch_size * max_length * embedding_dim
    keras.layers.Embedding(vocab_size, embedding_dim,
                           input_length = max_length),
	# rnn return_sequences 返回的最后一步的输出还是所有输出 false最后一步输出                           
    keras.layers.SimpleRNN(units = 64, return_sequences = False),
    keras.layers.Dense(64, activation = 'relu'),
    keras.layers.Dense(1, activation='sigmoid'),
])

single_rnn_model.summary()
single_rnn_model.compile(optimizer = 'adam',
                         loss = 'binary_crossentropy',
                         metrics = ['accuracy'])

在这里插入图片描述

训练

history_single_rnn = single_rnn_model.fit(
    train_data, train_labels,
    epochs = 30,
    batch_size = batch_size,
    validation_split = 0.2)

在这里插入图片描述

学习曲线

def plot_learning_curves(history, label, epochs, min_value, max_value):
    data = {}
    data[label] = history.history[label]
    data['val_'+label] = history.history['val_'+label]
    pd.DataFrame(data).plot(figsize=(8, 5))
    plt.grid(True)
    plt.axis([0, epochs, min_value, max_value])
    plt.show()
    
plot_learning_curves(history_single_rnn, 'acc', 30, 0, 1)
plot_learning_curves(history_single_rnn, 'loss', 30, 0, 1)

在这里插入图片描述
在这里插入图片描述

测试

在这里插入图片描述
准确率0.5036，上面采用的是单向rnn，如果采用双向rnn是什么效果呢？

双向rnn模型

embedding_dim = 16
batch_size = 512
model = keras.models.Sequential([
    # 1. define matrix: [vocab_size, embedding_dim]
    # 2. [1,2,3,4..], max_length * embedding_dim
    # 3. batch_size * max_length * embedding_dim
    keras.layers.Embedding(vocab_size, embedding_dim,
                           input_length = max_length),
	# 双向rnn封装                           
    keras.layers.Bidirectional(
        keras.layers.SimpleRNN(
        	# 设置为true 因为要输入下一层，不是单个序列
            units = 64, return_sequences = True)),
	# 多层双向rnn            
    keras.layers.Bidirectional(
        keras.layers.SimpleRNN(
            units = 64, return_sequences = False)),
    keras.layers.Dense(64, activation = 'relu'),
    keras.layers.Dense(1, activation='sigmoid'),
])
model.summary()
model.compile(optimizer = 'adam',
              loss = 'binary_crossentropy',
              metrics = ['accuracy'])

在这里插入图片描述

双向rnn训练

history = model.fit(
    train_data, train_labels,
    epochs = 30,
    batch_size = batch_size,
    validation_split = 0.2)

在这里插入图片描述
准确率要好一点

双向rnn学习曲线

plot_learning_curves(history, 'acc', 30, 0, 1)
plot_learning_curves(history, 'loss', 30, 0, 3.8)

在这里插入图片描述
在这里插入图片描述
双层双向rnn太复杂，有过拟合的问题，所以可以改成单层试试。

单层双向rnn模型

embedding_dim = 16
batch_size = 512
bi_rnn_model = keras.models.Sequential([
    # 1. define matrix: [vocab_size, embedding_dim]
    # 2. [1,2,3,4..], max_length * embedding_dim
    # 3. batch_size * max_length * embedding_dim
    keras.layers.Embedding(vocab_size, embedding_dim,
                           input_length = max_length),
    keras.layers.Bidirectional(
        keras.layers.SimpleRNN(
        	# 改成32
            units = 32, return_sequences = False)),
    keras.layers.Dense(32, activation = 'relu'),
    keras.layers.Dense(1, activation='sigmoid'),
])
bi_rnn_model.summary()
bi_rnn_model.compile(optimizer = 'adam',
                     loss = 'binary_crossentropy',
                     metrics = ['accuracy'])

在这里插入图片描述

训练

history = bi_rnn_model.fit(
    train_data, train_labels,
    epochs = 30,
    batch_size = batch_size,
    validation_split = 0.2)

在这里插入图片描述
准确率好很多。

学习曲线

plot_learning_curves(history, 'acc', 30, 0, 1)
plot_learning_curves(history, 'loss', 30, 0, 1.5)

在这里插入图片描述
在这里插入图片描述

测试

在这里插入图片描述
准确率比普通神经网络要低，说明rnn比普通nn要弱吗？
从学习曲线图看出，在第五次迭代后，test loss开始上升，说明rnn过拟合非常明显，说明这个模型非常强大，太强大了所以过拟合，刚刚使用的减少过拟合方法是降低模型尺寸，还有一些正则化项，dropout，也可以防止过拟合。之后会介绍一种更强大的网络来防止过拟合——LSTM。

text generation

导入莎士比亚数据集
在这里插入图片描述

数据处理

在这里插入图片描述
词表65，一共有如上字符。
在这里插入图片描述
字符对应一个id，形成id到字符的一个映射。
在这里插入图片描述
把列表变成np.array
在这里插入图片描述

def split_input_target(id_text):
    """
   每个输出都是输入的下一个字符
    abcde -> abcd, bcde
    """
    return id_text[0:-1], id_text[1:]
char_dataset = tf.data.Dataset.from_tensor_slices(text_as_int)
seq_length = 100
# 输入是5 输出是4 长度+1
seq_dataset = char_dataset.batch(seq_length + 1,
							#最后一个batch不够，直接丢掉
                                 drop_remainder = True)
for ch_id in char_dataset.take(2):
    print(ch_id, idx2char[ch_id.numpy()])
for seq_id in seq_dataset.take(2):
    print(seq_id)
    print(repr(''.join(idx2char[seq_id.numpy()])))

在这里插入图片描述
调用上面函数获得输入和输出。下面前两个是一组输入和输出，对于第二维来说，里面的第一个值等于第一维第一个的后面第二个值。
在这里插入图片描述
构建data set
在这里插入图片描述

定义模型

vocab_size = len(vocab)
embedding_dim = 256
rnn_units = 1024
def build_model(vocab_size, embedding_dim, rnn_units, batch_size):
    model = keras.models.Sequential([
    	# embedding 层
        keras.layers.Embedding(vocab_size, embedding_dim,
                               batch_input_shape = [batch_size, None]),
        keras.layers.SimpleRNN(units = rnn_units,
                               stateful = True,
                               recurrent_initializer = 'glorot_uniform',
                               return_sequences = True),
        keras.layers.Dense(vocab_size),
    ])
    return model
model = build_model(
    vocab_size = vocab_size,
    embedding_dim = embedding_dim,
    rnn_units = rnn_units,
    batch_size = batch_size)
model.summary()

在这里插入图片描述
在这里插入图片描述
batch size * 长度 * 类别预测（预测一个概率分布）

随机采样

# random sampling.
# greedy, random.
sample_indices = tf.random.categorical(
    logits = example_batch_predictions[0], num_samples = 1)
print(sample_indices)
# (100, 65) -> (100, 1)
sample_indices = tf.squeeze(sample_indices, axis = -1)
print(sample_indices)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

output_dir = "./text_generation_checkpoints"
if not os.path.exists(output_dir):
    os.mkdir(output_dir)
checkpoint_prefix = os.path.join(output_dir, 'ckpt_{epoch}')
checkpoint_callback = keras.callbacks.ModelCheckpoint(
    filepath = checkpoint_prefix,
    save_weights_only = True)
epochs = 100
history = model.fit(seq_dataset, epochs = epochs,
                    callbacks = [checkpoint_callback])

在这里插入图片描述

model2 = build_model(vocab_size,
                     embedding_dim,
                     rnn_units,
                     batch_size = 1)
model2.load_weights(tf.train.latest_checkpoint(output_dir))
model2.build(tf.TensorShape([1, None]))
# start ch sequence A,
# A -> model -> b
# A.append(b) -> B
# B(Ab) -> model -> c
# B.append(c) -> C
# C(Abc) -> model -> ...
model2.summary()

在这里插入图片描述

def generate_text(model, start_string, num_generate = 1000):
    input_eval = [char2idx[ch] for ch in start_string]
    input_eval = tf.expand_dims(input_eval, 0)    
    text_generated = []
    model.reset_states()    
    for _ in range(num_generate):
        # 1. model inference -> predictions
        # 2. sample -> ch -> text_generated.
        # 3. update input_eval        
        # predictions : [batch_size, input_eval_len, vocab_size]
        predictions = model(input_eval)
        # predictions : [input_eval_len, vocab_size]
        predictions = tf.squeeze(predictions, 0)
        # predicted_ids: [input_eval_len, 1]
        # a b c -> b c d
        predicted_id = tf.random.categorical(
            predictions, num_samples = 1)[-1, 0].numpy()
        text_generated.append(idx2char[predicted_id])
        # s, x -> rnn -> s', y
        input_eval = tf.expand_dims([predicted_id], 0)
    return start_string + ''.join(text_generated)
new_text = generate_text(model2, "All: ")
print(new_text)

生成文本在这里插入图片描述

DL之NRL&GCN：网络表示学习NRL与图神经网络GNN的简介、应用、经典案例之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-04 1万+
DL之NRL&GCN：网络表示学习NRL与图神经网络GNN的简介、应用、经典案例之详细攻略 目录 网络表示学习NRL与图神经网络GNN的简介 1、网络表示学习与图神经网络的重要进展 1.1、1986年的Distributed Representation 1.2、2013年的word2vec→最新的BERT 网络表示学习NRL与图神经网络GNN的应用 1、Comp...
music generation with DL and sings datasets music datasets
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-02 325
文章目录music-generation-with-DLmusic DatasetsPapersBlogsCodesConferences&WorkshopsApplications music-generation-with-DL music Datasets chinese songs: 歌声1 歌声2 japanese songs: japanese japanese la...
LSTM_文本生成（text_generation）
qq_36134437的博客
12-10 2051
1.文本生成（char） 用LSTM做文本生成 举个小小的例子，来看看LSTM是怎么玩的 我们这里用温斯顿丘吉尔的人物传记作为我们的学习语料。 # -*- coding: utf-8 -*- ''' 用RNN做文本生成，用温斯顿丘吉尔的人物传记作为我们的学习语料 我们这里简单的文本预测是，给了前置的字母以后，下一个字母是谁？ 比如,importan,给出t,Winsto,给出n,Britai, 给...
EmbeddingRNN
TBTB的博客
07-17 501
RNN–Embedding and Linear Layer 目标 网络总体框架 import torch idx2char = ['e', 'h', 'l', 'o'] x_data = [[1, 0, 2, 2, 3]] # The input sequence is 'hello' (batch, seq_len)，不同于charater_testRNN 和 BasicRNN 中的方式 y_data = [3, 1, 2, 3, 2] # The output sequence i
RNN（embedding编码、LSTM、GRU）
799喵的博客
07-31 655
三个门限：它们都是当前时刻的输入特征 xt 和上一时刻的短期记忆的 ht-1 的函数。wi，wo ，wf 是待训练参数矩阵，bi，bo，bf 是待训练参数矩阵。它们都经过sigmoid激活函数使门限的范围在0-1之间。细胞态表示长期记忆，等于上个时刻的长期记忆 Ct-1 乘以遗忘门 + 当前时刻归纳出的新知识*输入门。（通俗讲：过去记忆留存下的知识+新知识）记忆体表示短期记忆，属于长期记忆的一部分。
rnn_embedding_1.py
02-23
rnn_embedding_1.py
RNN循环神经网络——embedding的理解
plus_left的博客
10-31 4092
RNN中Embedding的一些理解一、RNN 循环神经网络1. 1循环核：1.2 循环核按时间步展开1.3循环计算层二、tf描述一个循环计算层2.1基本函数2.1进入RNN时，x_train的维度2.3循环计算过程三、Embedding编码代替独热码3.1思想：3.2代码实现：3.3参数理解感谢北京大学曹健老师的《tensorflow笔记》，收益良多，基本属于课上内容，搬砖至此，作为笔记。 一、RNN 循环神经网络 以实现连续数据预测为例，在这里先引入几个概念 1. 1循环核： 具有记忆力，通过不同时刻
faiseq学习-RNN实现分类任务
不负韶华，加油！
09-28 1127
使用Faiseq实现分类任务 https://fairseq.readthedocs.io/en/latest/tutorial_classifying_names.html 1、预处理数据以创建字典 （1）下载数据集：tutorial_names.tar.gz （2）使用fairseq预处理 fairseq-preprocess --trainpref names/train --validpref names/valid --testpref names/te...
机器学习(Machine Learning)&深度学习(Deep Learning)资料
热门推荐
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
BERT(Bidirectional Encoder Representations from Tr
最新发布
AI天才研究院
10-13 1008
《BERT(Bidirectional Encoder Representations from Transformers) - 原理与代码实例讲解》 关键词：
RNN变种-----Embedding、LSTM、GRU的介绍
m0_54180573的博客
12-27 1151
一般来说，NLP任务的基本流程包括以下方面：（1）文本预处理：文本清理、标准化、纠错、改写等。（2）Tokenzing：分字、分词、分子词等。（3）构造数据：将 Token转为模型需要的输入。（4）文本特征表征：将输入的数据转换为向量表征（One-Hot、TF-IDF、Embedding）。（5）结果输出：将向量表征转换为最终输出。对于自然语言因其输入是一段文本，在中文中也即一个个字或一个个词，而行业内把这个字或词叫Token。如果要使用模型，拿到一段文本的第一件事就是把他Token化。
【ML&DL学习】19 rnn embedding padding pooling
WMXNLFD的博客
03-16 363
1
【循环神经网络】（下）embedding+rnn+linear结合的模型
Queen_sy的博客
10-25 605
采用以下网络结构。
RNN笔记（刘二大人）
weixin_45727991的博客
10-26 1152
基础篇的2个代码
介绍RNN的两种实现方式和lstm的代码
landing_guy_的博客
05-19 1129
介绍RNN网络及lstm
tensorflow2.0学习笔记：embedding_padding_pooling
凿井而饮的博客
05-19 958
对于序列数据的处理，首先要进行编码(Embedding),然后还需处理其不等长的问题(变长输入问题)。 1.Embedding a. One-hot编码：word -> index \[0,0,...,1,0,...](稀疏) b. (Dense) Embedding：Word -> \[1.2,2.4,..,0.2,...](密集) 2.变长输入 a.padding word index：\[3,2,5,1] -> padding: \[3,2,5,1,0,0,...](补
tensorflow 单词嵌入向量
消极的人永远是对的，积极的人选择勇往直前
03-08 1067
用数字表示文本 机器学习模型将向量（数字数组）作为输入。在处理文本时，我们必须先想出一种策略，将字符串转换为数字（或将文本“向量化”），然后再其馈入模型。 实现这一目标的三种策略： 独热编码 作为第一个想法，可以对词汇表中的每个单词进行“独热”编码。考虑这样一句话：“The cat sat on the mat”。这句话中的词汇（或唯一单词）是（cat、mat、on、sat、the）。为了表示每个单词，我们将创建一个长度等于词汇量的零向量，然后在与该单词对应的索引中放置一个 1。 为了创建一个包含
GraphSAGE：我寻思GCN也没我厉害！
AI科技大本营
08-05 4292
作者 | 郭必扬来源 | SimpleAI（ID:SimpleAI_1）众所周知，2017年ICLR出产的GCN现在是多么地热门，仿佛自己就是图神经网络的名片。然而，在G...
Python深度学习实现RNN比特币价格预测
资源摘要信息:"本案例将介绍如何使用Python中的深度学习技术，具体是利用循环神经网络（Recurrent Neural Network，RNN）来预测比特币价格。我们将详细探讨如何构建和训练一个RNN模型，并通过实际数据集进行价格预测...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值