tf.estimator.train_and_evaluate() 训练与测试不一致

最新推荐文章于 2023-02-16 20:35:12 发布

SummmerSnow

最新推荐文章于 2023-02-16 20:35:12 发布

阅读量2.9k

点赞数 3

分类专栏： tensorflow 文章标签： tensorflow tf.estimator.train_and_evaluate() 训练与测试不一致

本文链接：https://blog.youkuaiyun.com/u011415481/article/details/102886492

版权

在tf.estimator.train_and_evaluate中遇到训练与评估结果不一致的问题。经过排查，确认不是数据、评估指标、GPU/CPU精度或打印结果的误解导致。问题根源在于train_and_evaluate的日志打印，实际显示的平均精度而非特定检查点的模型结果。建议仔细阅读文档，谨慎使用高阶API，并注意评估指标的定义方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题背景

以一个简单的分类任务为例，在处理完数据之后，使用如下code进行训练：

estimator = tf.estimator.Estimator(model_fn, 'model', cfg, params)
train_spec = tf.estimator.TrainSpec(input_fn=train_inpf, hooks=[])
eval_spec = tf.estimator.EvalSpec(input_fn=eval_inpf, throttle_secs=120)
tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

在训练保存最后一次模型之后，同样的dev集，模型训练的结果，和重新使用tf.evaluation 函数测试的结果居然不一致！
而本质上，model_fn 中定义的测评函数就是estimator.evaluate()…

model_fn() 函数中定义的测评如下：

metrics = {
 'label_acc': tf.metrics.accuracy(real_label_ids, pred_label_ids)
}
for metric_name, op in metrics.items():
        tf.summary.scalar(metric_name, op[1])
 if mode == tf.estimator.ModeKeys.EVAL:
       return tf.estimator.EstimatorSpec(
                mode, loss=loss, eval_metric_ops=metrics)

这就比较诡异了