18、自然语言处理中的语言模型构建与评估

自然语言处理中的语言模型构建与评估

1. 模型评估

在评估模型时，我们可以通过对未见过的测试数据集中所有评论的情感进行预测，来评估拟合好的模型。具体操作步骤如下：
1. 加载数据集 ：使用之前开发的数据加载函数，加载并编码训练集和测试集。

# load datasets
trainLines, trainLabels = load_dataset('train.pkl')
testLines, testLabels = load_dataset('test.pkl')

2. 创建分词器 ：根据训练集创建分词器。

# create tokenizer
tokenizer = create_tokenizer(trainLines)

3. 计算最大文档长度和词汇量 ：这两个参数对后续的数据编码很重要。

# calculate max document length
length = max_length(trainLines)
# calculate vocabulary size
vocab_size = len(tokenizer.word_index) + 1
print('Max documen