再用RNN神经网络架构设计生成式语言模型

上一篇：《用谷歌经典ML方法方法来设计生成式人工智能语言模型》

序言：市场上所谓的开源大语言模型并不完全开源，通常只提供权重和少量工具，而架构、训练数据集、训练方法及代码等关键内容并未公开。因此，要真正掌握人工智能模型，仍需从基础出发。本篇文章将通过传统方法重新构建一个语言模型，以帮助大家理解语言模型的本质：它并不神秘，主要区别在于架构设计。目前主流架构是谷歌在论文《Attention Is All You Need》中提出的 Transformer，而本文选择采用传统的 RNN（LSTM）方法构建模型，其最大局限在于不支持高效并行化，因而难以扩展。

创建模型

现在让我们创建一个简单的模型，用来训练这些输入数据。这个模型由一个嵌入层、一个 LSTM 层和一个全连接层组成。对于嵌入层，你需要为每个单词生成一个向量，因此参数包括总单词数和嵌入的维度数。在这个例子中，单词数量不多，所以用八个维度就足够了。

你可以让 LSTM 成为双向的，步数可以是序列的长度，也就是我们的最大长度减去 1（因为我们从末尾去掉了一个 token 用作标签）。

最后，输出层将是一个全连接层，其参数为总单词数，并使用 softmax 激活。该层的每个神经元表示下一个单词匹配相应索引值单词的概率：

model = Sequential()

model.add(Embedding(total