21、文本生成的语言模型开发指南

文本生成的语言模型开发指南

1. 两词输入，一词输出序列模型

1.1 模型概述

在语言模型的构建中，我们可以采用一种介于单词输入和整句输入之间的方法，即输入单词子序列。这里我们使用 3 个单词作为输入来预测 1 个单词作为输出，这种方式在生成新行和处理行中生成方面提供了一种平衡。

1.2 序列准备

序列的准备与第一个示例类似，但在源序列数组中有不同的偏移量，代码如下：

# encode 2 words -> 1 word
sequences = list()
for i in range(2, len(encoded)):
    sequence = encoded[i-2:i+1]
    sequences.append(sequence)

1.3 完整示例代码

from numpy import array
from keras.preprocessing.text import Tokenizer
from keras.utils import to_categorical
from keras.preprocessing.sequence import pad_sequences
from keras.utils.vis_utils import plot_model
from keras.models import Sequential
from keras.layers import Dense
from keras.layer