33、神经网络机器翻译模型评估与拓展

神经网络机器翻译模型评估与拓展

1. 评估神经网络翻译模型

我们将在训练集和测试集上对模型进行评估。理想情况下，模型应在训练集上表现出色，并能泛化到测试集上。最好使用单独的验证集来辅助训练过程中的模型选择，不过这里我们暂用测试集。

首先，需要加载并准备干净的数据集，以下是代码示例：

# load datasets
dataset = load_clean_sentences('english-german-both.pkl')
train = load_clean_sentences('english-german-train.pkl')
test = load_clean_sentences('english-german-test.pkl')
# prepare english tokenizer
eng_tokenizer = create_tokenizer(dataset[:, 0])
eng_vocab_size = len(eng_tokenizer.word_index) + 1
eng_length = max_length(dataset[:, 0])
# prepare german tokenizer
ger_tokenizer = create_tokenizer(dataset[:, 1])
ger_vocab_size = len(ger_tokenizer.word_index) + 1
ger_length = max_length(dataset[:, 1])
# prepare data
trainX = encode_sequences(ger_tokenizer, ger_le