13、利用TensorFlow和Keras进行文本数据的RNN及CNN模型实践

利用TensorFlow和Keras进行文本数据的RNN及CNN模型实践

1. RNN文本生成

1.1 文本生成简介

文本生成是循环神经网络（RNN）在自然语言处理（NLP）中的主要应用之一。RNN模型通过对文本序列进行训练，然后以种子文本作为输入来生成文本序列。下面我们将在text8数据集上进行实践。

1.2 加载text8数据集

from datasetslib.text8 import Text8
text8 = Text8()
# 下载数据，将单词转换为ID，将文件转换为ID列表
text8.load_data()
print(' '.join([text8.id2word[x_i] for x_i in text8.part['train'][0:100]]))

为了简化示例，我们将数据加载限制在5000个单词：

from datasetslib.text8 import Text8
text8 = Text8()
text8.load_data(clip_at=5000)
print('Train:', text8.part['train'][0:5])
print('Vocabulary Length = ',text8.vocab_len)

此时词汇量大小减少到了1457个单词。

1.3 构建简单的LSTM模型

我们构建一个简单的单层LSTM模型，使用5个单词作为输入来学习第6