46、深度学习在自然语言处理中的应用与实践

深度学习在自然语言处理中的应用与实践

1. 模型评估与结果分析

在训练过程中，当训练步骤达到1500时，我们得到了如下训练和验证指标：
|指标类型|准确率|AUC|精确率|召回率|
| ---- | ---- | ---- | ---- | ---- |
|训练集|0.8802|0.95115364|0.8735527|0.8893773|
|验证集|0.8626|0.9373224|0.8478599|0.88040406|

从输出日志可以看出，验证数据集的整体准确率接近87%，AUC为94%，对于这样一个简单的模型来说，这个结果相当不错。接着对模型在训练和测试数据集上进行评估：

dnn.evaluate(input_fn=predict_train_input_fn)
{'accuracy': 0.8802, 'accuracy_baseline': 0.5005, 'auc': 0.95115364,
 'auc_precision_recall': 0.950775, 'average_loss': 0.2844779,
 'label/mean': 0.5005, 'loss': 36.316326, 'precision': 0.8735527,
 'prediction/mean': 0.51057553, 'recall': 0.8893773, 'global_step': 1600}
dnn.evaluate(input_fn=predict_test_input_fn)
{'accuracy': 0.8663333, 'accuracy_baseline':