batch_size过大单条验证准确率小于批验证准确率现象深入测试-LSTM seq2seq模型

最新推荐文章于 2025-06-03 10:30:16 发布

原创

最新推荐文章于 2025-06-03 10:30:16 发布 · 3.3k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#nlp #lstm seq2seq #人工智能

>本文测试用的模型

神经网络类型：LSTM seq2seq

深度：5层

Embedding 维度：300

其它技术：双向encode、残差技术、dropout技术、注意力机制

>批验证准确率与单条验证准确率测试说明

批验证准确率与单条验证准确率使用的语料集都是训练语料集，批验证准确率使用训练的batch_size进行测试，单条验证准确率使用batch_size=1进行测试。

>batch_size值影响单条验证准确率

在LSTM seq2seq模型训练中，一般使用小批量梯度下降，一般教材推荐在内存许可情况下，尽量增大batch_size，以加速训练。实际使用中，发现如果训练batch_size与模型实际预测不一致时，训练批验证准确率达到100%，单条验证准确率不等于批验证准确率，批验证准确率是小批量校验的，使用的batch_size与训练相同，模型实际预测时是单条进行的，因此单条验证准确率使用单条进行的。如下图所示，训练语料集为2000组对话。