Seq2Seq模型应用案例之ScheduledEmbeddingTrainingHelper:
Tensorflow最新的Seq2Seq案例请参考官网:https://github.com/tensorflow/nmt 这里不再赘述。
在之前的博客中https://blog.youkuaiyun.com/duan_zhihua/article/details/87114665提及模型训练与模型预测的差异性,Tensorflow提供了ScheduledEmbedding的机制,训练时候解码器加入了抽样概率,按epoch的进度逐渐提高抽样概率:概率抽样为0的时候ScheduledEmbedidngTrainingHelper相当于TrainingHelper,概率抽样为1的时候ScheduledEmbedidngTrainingHelper相当于GreedyEmbeddingHelper,在0到1之间按照概率抽样目标词做预测。ScheduledEmbeddingTrainingHelper比没有实施计划采样的效果较好。
# 0.0 ≤ sampling_probability ≤ 1.0
# 0.0: no sampling => `ScheduledEmbedidngTrainingHelper` is equi