tf.estimator.train_and_evaluate 详解

最新推荐文章于 2022-12-09 11:24:23 发布

原创

最新推荐文章于 2022-12-09 11:24:23 发布 · 3.5w 阅读

57 ·

CC 4.0 BY-SA版权

文章标签：

#tf.estimator.train_and_evaluate #tensorflow #详解

本文详细介绍了TensorFlow 1.11.0中的tf.estimator.train_and_evaluate API，用于统一管理和执行模型训练、评估，甚至导出。该API简化了从本地到分布式环境的迁移，并默认采用parameter server-based between-graph replication策略。文章详细阐述了参数说明，包括Estimator实例、TrainSpec和EvalSpec的配置，并提供了非分布式和分布式实例的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TensorFlow 版本：1.11.0

在 TensorFlow 1.4 版本中，Google 新引入了一个新 API：tf.estimator.train_and_evaluate。提出这个 API 的目的是：代替 tf.contrib.learn.Experiment。

1. `tf.estimator.train_and_evaluate` 简介

train_and_evaluate API 用来 train 然后 evaluate 一个 Estimator。调用方式如下：

tf.estimator.train_and_evaluate(
    estimator,
    train_spec,
    eval_spec
)

这个函数除了 train 和 evaluate 之外，还可选的提供了模型的导出功能，这样就可以把一个训练好的模型直接转交给业务部门来使用了，可以算是“产学研”一条龙服务了。

该函数的参数有三个：

estimator：一个 Estimator 实例。
train_spec：一个 TrainSpec 实例。用来配置训练过程。
eval_spec：一个 EvalSpec 实例。用来配置评估过程、（可选）模型的导出。

该函数的返回值有一个：

Estimator.evaluate 的结果及前面指定的 ExportStrategy 的输出结果。当前，尚未定义分布式训练模式的返回值。

实际上，如果直接使用 Estimator API，完成 train 和 evaluate 已经是很简单的任务了，为什么我们还要使用 train_and_evaluate 这个函数呢？按官方文档的说法：这个函数可以保证本地和分布式环境下行为的一致性。也就是说，使用 Estimator 和 train_and_evaluate 编写的程序同时支持本地、集群上的训练，而不需要修改任何代码。可以想像一下，在完成了本地 CPU 训练的测试之后，直接 push 到 Cloud ML Engine 上，分分钟完成一个模型的训练，甚至还可以直接使用 TPU 集群（只要你保证模型里的 op 都是对 TPU 兼容的），多么方便的一个工具啊！

这个函数默认的分布式策略是：parameter server-based between-graph replication。对于其它的分布式策略的使用，可以参照 DistributionStrategies 。TensorFlow 关于分布式的官方文档见 Distributed TensorFlow。

当然，方便的背后一般都有代价。为了保证代码在本地和集群上都可以正常终止，所以只能使用 Estimator 的 max_steps 参数设定终止条件。所以，如果想使用别的方式终止训练，可能就需要一些“技巧”了。

2. 参数说明

上面我们已经知道 train_and_evaluate 有三个参数，第一个先放在一边，因为这个参数就是一个 Estimator 的实例。我们先来看一下另外两个参数：

2.1 `train_spec` 参数

train_spec 参数接收一个 tf.estimator.TrainSpec 实例。

# TrainSpec的参数
__new__(
    cls, # 这个参数不用指定，忽略即可。
    input_fn,
    max_steps=None,
    hooks=None
)

其中：

input_fn：参数用来指定数据输入。
max_steps：参数用来指定训练的最大步数，这是训练的唯一终止条件。
hooks：参数用来挂一些 tf.train.SessionRunHook，用来在 session 运行的时候做一些额外的操作，比如记录一些 TensorBoard 日志什么的。

2.2 `eval_spec` 参数

eval_spec 参数接收一个 tf.estimator.EvalSpec 实例。相比 TrainSpec，EvalSpec 的参数多很多。因为 EvalSpec 不仅可以指定评估过程，还可以指定导出模型的功能（可选）。

__new__(
    cls, # 这个参数不用指定，忽略即可。
    input_fn,
    steps=100, # 评估的迭代步数，如果为None，则在整个数据集上评估。
    name=None,
    hooks=None,
    exporters=None,
    start_delay_secs=