Estimator简介与使用

最新推荐文章于 2024-04-23 09:32:18 发布

原创

最新推荐文章于 2024-04-23 09:32:18 发布 · 4.3k 阅读

4 ·

CC 4.0 BY-SA版权

本文详细介绍了TensorFlow中的Estimator API，包括其概念、优势、与Keras的区别及实际应用。Estimator API简化了模型训练流程，适用于分布式环境，同时为模型开发者提供了便利。

1 Estimator简介

Tensorflow中，Estimator可以用来模型的训练、评估、预测等。
当用 Estimator 编写一个 application，你必须将 input pipeline 和 model 分开。这种分离简化了在不同数据集上的 experiments。
在这里插入图片描述

可以看到Estimator是属于High level的API，而Mid-level API分别是：
• Layers：用来构建网络结构
• Datasets: 用来构建数据读取pipeline
• Metrics：用来评估网络性能
可以看到如果使用Estimator，我们只需要关注这三个部分即可，而不用再关心一些太细节的东西，另外也不用再使用烦人的Session了。

2 Estimator 的优势

Estimator 有以下优势：

对分布式的良好支持（不需要更改代码）。
有利于模型开发者之间的代码分享。
简化了模型的创建工作。
Estimator 建立在 tf.layers 上，这简化了自定义 Estimator 的编写。
Estimator 会为你创建 graph。
通过使用Estimator，您可以轻松保存摘要以使用Tensorboard进行可视化。
Estimator 提供了一个安全的分布式训练环境，其会帮我们控制这么、何时去：
 建立 graph。
 初始化 variables。
 开始 queues。
 处理 exceptions。
 创建 checkpoint 文件，从失败中恢复训练。
 保存 summaries for TensorBoard。

3 Estimator 与 keras

Estimator API和Keras API都在低级核心Tensorflow API之上提供了更高级的API，您可以使用其中任何一个来训练您的模型。

Estimators API是在版本1.1中添加到Tensorflow中的，它提供了对较低级别Tensorflow核心操作的高级抽象。它与Estimator实例一起使用，该实例是TensorFlow对完整模型的高级表示。

在1.x版本中，对于生产级项目，模型构建API是Estimator API。但是，随着最近的变化，keras api几乎赶上了Estimator API。最初，Estimator API具有更高的可伸缩性，允许分布式，并且具有方便的跨平台功能。然而，现在Estimator API的大部分优点都已被消除，因此，很快Keras API将很可能成为构建TensorFlow模型的唯一标准API

Keras与Estimators API相似之处在于，它抽象化了深度学习模型组件，如层 layers, 激活函数activation functions 和优化器optimizers，使开发人员更容易使用。它是一个模型级别的库，不处理低级操作，低级