AIGC实战——改进循环神经网络

0. 前言

我们已经学习了如何训练长短期记忆网络 (Long Short-Term Memory Network, LSTM) 模型，以学习使用给定风格生成文本，接下来，我们将学习如何扩展此模型，已获得更加优异的文本生成效果。

1. 堆叠循环网络

在自回归模型一节中构建的 LSTM 神经网络仅包含一个 LSTM 层，我们也可以训练多层堆叠的 LSTM 网络，以便从文本中学习更深层次的特征。
为了实现堆叠 LSTM 网络，我们只需在第一层之后引入另一个 LSTM 层，并将第一个 LSTM 层中的 return_sequences 参数设置为 True，这样一来，第一个 LSTM 层就会输出所有时间步的隐藏状态，而不仅仅是最后一个时间步。第二个 LSTM 层可以使用第一层的隐藏状态作为其输入数据，模型架构如下图所示：