Tensorflow高级API系列（一）：Estimator是什么？

最新推荐文章于 2025-01-12 22:26:42 发布
最新推荐文章于 2025-01-12 22:26:42 发布
阅读量2.6k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 编码 TensorFlow 文章标签： tensorflow estimator
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Ding_xiaofei/article/details/102756310
本文介绍了TensorFlow的高级API Estimator，包括其设计理念、使用流程和一个简单的Estimator代码示例。通过Estimator，可以自定义模型、损失函数和优化方法，同时简化大规模数据的处理和线上模型导出。文章还预告了对自定义Estimator模型的深入探讨。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

最近一直在做CTR预估的模型，为了应对大规模数据和导出更加易用的线上模型导出模型的问题，不得不放弃session，placehoder这种比较原始的tensorflow编码。使用更加高级的estimator api，说是高级api，让tensorflow编码更加简单，但是里面还是有不少的坑，在网上也找了各种案例，但还是太模式化，官方的教程也只针对简单的案例。这边为了避免重复工作，有比较好的教程，我直接放链接。本博客只作相应的补充和一些实用案例的展示。

关于tensorflow的api

api
关于这些api我会一一填坑。

关于estimator

带estimator的tensorflow代码，一般是如下图所示的流程
在这里插入图片描述
Input最好使用tf.data这个api去封装数据，这里面还涉及到feature_columns的api使用，能够简化tensorflow的特征工程的处理。这里面有一系列比较优秀的博客，我都会逐一放上相应的博客。

estimator的简介：
Estimator类是机器学习模型的抽象，其设计灵感来自于典典大名的Python机器学习库Scikit-learn。Estimator允许开发者自定义任意

最低0.47元/天 解锁文章
机器学习笔记 - tensorFlow的estimator和keras API
学以致用 知行合一
01-17 1376
Estimator是一种可极大地简化机器学习编程的高阶 TensorFlow API。它提供了对较低级别Tensorflow核心操作的高级抽象。keras和estimator都属于对模型的封装，都会封装模型的训练流程的代码。都有分布式的支持，还有dataset的支持。 estimator在1.0中就有，主要的封装抽象在模型训练流程，需要自行定义模型结构。keras则对层次的模型训练流程都进行的抽象。当然，也可以使用keras对层次的封装来定义模型结构送到estimator中去使用。
Tensorflow Estimators API使用介绍
热门推荐
liushuikong的博客
02-01 1万+
在上一篇文章Tensorflow Dataset API详解里面，我们说Datasets API和Estimators API是TensorFlow 1.3开始引入的两个高级API。其中，Estimators API 提供了训练模型、测试模型准确率和生成预测的方法。在这篇文章里面，我准备对Estimator API做一个基本讲解，其中主要内容还是来源于官方文档。 首先，还是先看看te
Tensorflow-Estimator-自定义估算器
Hym_eric的博客
11-17 1092
转载：https://www.jianshu.com/p/5495f87107e7 这篇文章介绍自定义一个估算器（分类器）Estimator的完整流程。 请先参照鸢尾花iris案例并完成练习。 自定义Custom Estimator和预制Pre-made Estimator 在上面iris的案例中我们使用了tensorflow里面自带的深度神经网络分类器tf.estimator.DNNCla...
TensorFlow之estimator详解
aiwanghuan5017的博客
07-23 1114
Estimator初识 框架结构 在介绍Estimator之前需要对它在TensorFlow这个大框架的定位有个大致的认识，如下图示： 可以看到Estimator是属于High level的API，而Mid-level API分别是： Layers：用来构建网络结构 Datasets: 用来构建数据读取pipeline Metrics：用来评估网络性能 可以看到如果使用Estima...
tf.estimator API技术手册（1）——tf.estimator概览
Friedrich Yuan的博客
11-15 1752
tf.estimator API技术手册（1）——tf.estimator概览（一）前 言（二）Estimator 的优势（三）预创建的 Estimator 程序的结构（1）预创建的 Estimator 程序的结构（2）预创建的 Estimator 的优势（四）推荐的工作流程 （一）前 言 （二）Estimator 的优势 （三）预创建的 Estimator 程序的结构 （1）预创建的 Est...
Tensorflow学习—— Estimator简介
weixin_39506322的博客
12-18 1164
本文档介绍了 Estimator - 一种可极大地简化机器学习编程的高阶 TensorFlow API。Estimator 会封装下列操作： 训练 评估 预测 导出以供使用 您可以使用我们提供的预创建的 Estimator，也可以编写自定义 Estimator。所有 Estimator（无论是预创建的还是自定义）都是基于 tf.estimator.Estimator 类的类。 注意...
TensorFlow DAY3: 高阶 API（Keras，Estimator）（完）
feifeikon的博客
01-12 1280
TensorFlow 作为深度学习框架，当然是为了帮助我们更便捷地构建神经网络。所以，本次实验将会了解如何使用 TensorFlow 来构建神经网络，并学会 TensorFlow 构建神经网络的重要函数和方法。
Tensorflow中的高级API：Estimator
wh1312142954的博客
06-10 2196
一、利用 Estimator 实现 MNIST 识别先导入包：import numpy as np import tensorflow as tf写主函数：if __name__ == "__main__": tf.logging.set_verbosity(tf.logging.INFO) tf.app.run()其中 tf.logging 是Tensorflow中的日志模块，我们这里调...
TensorFlow高级API系列（二）：从源码看如何自定义estimator
Ding_xiaofei的博客
10-26 444
源码解析 上一篇博客，实例化estimator的代码如下： tf.estimator.Estimator( model_fn=model_fn, # First-class function params=params, # HParams config=run_config # RunConfig ) 我们从这个实例化进入，看我们需要传给estimator的参数都...
【TF Estimator简化构建】：TensorFlow高级API应用与实践
[【TF Estimator简化构建】：TensorFlow高级API应用与实践](https://img-blog.csdnimg.cn/20191026143338139.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4...
Estimator (Statistic for Machine Learning)
weixin_52006675的博客
01-04 1274
An。
一图看懂TensorFlow2.0系列（六） TensorFlow的estimator怎么用，看了这篇彻底搞懂
ibelieve8013的博客
01-10 2786
李宏毅机器学习课程第4讲：Estimator
Wanderers111的博客
01-24 306
李宏毅机器学习课程第4讲：Estimator 味儿太冲了，开头又是宝可梦哈哈哈哈哈。不过听了这一讲，我对于过拟合和欠拟合的理解更深刻了。李老师从Bias和Variance两个角度进行了解释。 对于这样一个问题：y^=f^(x)；我们有training data,我们找到了f∗,则f∗是f^的一个估计。而f∗和f^之间的error 来源来自于Bias与Variance 对于这样一个问题：\hat{y}=\hat{f}(x)；\\ 我们有training\ data,我们找到了{f}^{*}
机器学习5：评估器estimator
观月执白
09-21 4257
要定义与tf.estimator一起使用的自定义模型，需要使用tf.estimator.Estimator。  tf.estimator.LinearRegressor()线性回归实际上是一个tf.estimator.Estimator的子类。  我们只是给Estimator提供了一个函数model_fn，它告诉tf.estimator如何评估预测，训练步骤和损失，而不是分类Estimator
Tensorflow高级API介绍：Estimator
蓬莱道人的博客
01-03 1161
1、Estimator架构 2、Estimator使用步骤 3、从源码理解Estimator （1）Estimator的源码如下： （2）构建model_fn （3）什么是 tf.estimator.EstimatorSpec （4）指定config 1、Estimator架构 可以看到Estimator是属于High level的API，而Mi...
【机器学习笔记day11】2.4. sklearn的estimator
汪雯琦的博客
02-01 643
文章目录2.4. sklearn的estimatorestimator的工作流程 2.4. sklearn的estimator estimator的工作流程 在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator。在估计器中有有两个重要的方法是fit和transform。 fit方法用于从训练集中学习模型参数 transform用学习到的参数转...
tf.estimator API技术手册（13）——LinearRegressor（线性回归器）
Friedrich Yuan的博客
11-19 1394
tf.estimator API技术手册（12）——LinearRegressor（线性分类器）（一）简 介（二）初始化（三）属 性（Properties）（四）方 法（Methods）（1）evaluate（评估）（2）predict（预测）（3）train（训练） （一）简 介 继承自Estimator，定义在tensorflow/python/estimator/canned/lin...
探索 TFRecord-Dataset-Estimator-API：一个高效的数据处理利器
gitblog_00031的博客
04-01 581
探索 TFRecord-Dataset-Estimator-API：一个高效的数据处理利器 TFRecord-Dataset-Estimator-APIExamples about How to import data from tfrecord files using dataset API.项目地址:https://gitcode.com/gh_mirrors/tf/TFRecord-Dat...
Tensorflow系列之Estimator
weixin_40164706的博客
06-24 459
TF.estimator踩坑教程 引言： 对于 tf.estimator.Estimator类而言是一个类似独立的便于训练网络的API，它不用手动设置session进行训练，且自带一些保存模型等特性。但是使用过程中有些需要注意的地方。 Estimator类中定义好的实例使用： 如tf.estimator.DNNClassifier(). 主要分为四步：1，构建input_fn; 2, 设置feature_column; 3, 实例化DNNClassifier; 4,使用自带的train，evaluate，p
tensorflow-estimator是什么
最新发布
02-27
### TensorFlow Estimator 概念 TensorFlow 的 `tf.estimator` 是一个高级 API，用于构建和训练机器学习模型。该接口简化了许多常见的建模任务，包括但不限于： - 训练 (`train`) - 评估 (`evaluate`) - 预测 (`predict`) - 导出 (`export`) 这些功能被封装在一个统一的框架中，使得开发者能够更专注于模型的设计而不是基础设施的搭建[^3]。 ### TensorFlow Estimator 主要特性 #### 统一的工作流程 通过使用预定义的 Estimators 或者自定义 Estimators 来创建模型，可以遵循一致的方法来进行实验、调整超参数以及部署到生产环境中去。 #### 支持分布式训练 Estimator API 特别适合于大规模的数据处理场景，在多台机器组成的集群上运行时表现良好，这有助于加速模型收敛过程并提高效率。 #### 易于扩展 对于那些想要深入定制自己模型结构的研究人员来说，可以通过继承 BaseEstimator 类来自行编写更加复杂的逻辑；而对于大多数应用场景，则可以直接调用现成的各种高层组件完成工作。 ### 实际应用案例展示 下面是一个简单的例子展示了如何基于 Keras 构造一个两层全连接神经网络，并将其转换为 Estimator 形式以便进一步操作： ```python import tensorflow as tf model = tf.keras.Sequential([ tf.keras.layers.Dense(10, activation='softmax'), tf.keras.layers.Dense(10, activation='softmax') ]) model.compile( optimizer=tf.keras.optimizers.RMSprop(0.001), loss='categorical_crossentropy', metrics=['accuracy'] ) estimator = tf.keras.estimator.model_to_estimator(keras_model=model) ``` 这段代码首先建立了一个标准的Keras序列化模型，接着编译这个模型指定了优化器、损失函数及评价指标，最后一步则是将此 Keras 模型转化为 Estimator 对象以供后续使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值