TensorFlow深度学习实战——基于循环神经网络的文本生成模型

0. 前言

循环神经网络 (Recurrent Neural Network, RNN) 在自然语言处理 (Natural Language Processing, NLP) 领域中被广泛应用于各种任务，其中一种应用是构建语言模型。语言模型能够根据前面的单词预测文本中下一单词，语言模型对于机器翻译、拼写校正等高级任务至关重要。语言模型预测序列中下一个单词的能力使其成为一种生成模型，可以通过从词汇中不同单词的输出概率中进行采样生成文本。训练数据是一个单词序列，标签是序列中下一时刻出现的单词。

1. 模型与数据集分析

在本节中，我们将使用 Lewis Carroll 的儿童故事《爱丽丝梦游仙境》及其续集《爱丽丝镜中奇遇》的文本上训练一个基于字符的循环神经网络 (Recurrent Neural Network, RNN) 模型。我们选择基于字符的模型，因为它的词汇表更小，训练速度更快，训练和使用的方法与基于单词的语言模型相同，只是我们将使用字符而不是单词。训练完成后，该模型可以用来生成与原文风格相似的文本。
我们所使用的数据来自于 Project Gutenberg 网站上两部小说的纯文本。网络的输入是 100<