Tensorflow: tf.estimator.Estimator保存唯一模型

最新推荐文章于 2022-04-02 16:06:25 发布
原创 最新推荐文章于 2022-04-02 16:06:25 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在TensorFlow中优化模型的checkpoint保存策略，通过调整RunConfig参数，将默认的保存5个模型检查点减少到仅保留最新的一个，有效节省了存储空间并简化了模型管理。
部署运行你感兴趣的模型镜像

checkpoint 模型保存数量默认为5个， 为方便管理，调整数量为只保留1个

在train.py 中   加入

run_config = tf.estimator.RunConfig( save_checkpoints_secs=1e9, keep_checkpoint_max = 1 )

modle = tf.estimator.Estimator( model_fn=FLAGS.Model_function[0],   

                                                  model_dir=FLAGS.model_dir,

                                                  params=FLAGS.Model_fn_params,

                                                  config=run_config )

 


参考致谢：https://blog.youkuaiyun.com/roxxo/article/details/89886552

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

推荐系统（二十）：TensorFlow 中的两种范式 tf.keras.Model 和 tf.estimator.Estimator
Jin_Kwok的博客
03-30 575
tf.keras.Model 和 tf.estimator.Estimator 是两种不同的高级 API 实现方式，本文从设计理念、使用场景和实现流程等方面简要介绍其差异。
tf.estimator保存的ckpt转存为pb
Love-Coding
01-27 1961
tf.estimator的input_fn部分代码： def input_fn_builder(input_files, is_training, num_cpu_threads=4): def input_fn(params): name_to_features = { "label": tf.FixedLenFeature([5], tf.
estimator 模型保存与使用
lzay的博客
04-02 2383
1：estimator 是tensorflow的高级封装库，但是tensorflow 分为两个版本，1.X与2.X,本次文章两个版本都会说明，方便大家进行判断 1.0保存与读取 output_dir=’../outer‘ def serving_input_fn(): label_ids = tf.placeholder(tf.int32, [None, max_seq_length], name='label_ids') input_ids = tf.placeholder(tf.int3
【Tensorflow】用于构建大规模分布式模型的高阶API(四)_Estimator模型的保存
bqw的博客
06-07 1189
import numpy as np import pandas as pd import tensorflow as tf from sklearn import datasets from sklearn.model_selection import train_test_split iris = datasets.load_iris() train_x,test_x,train_y,tes...
tensorflow笔记(二十六）——tf.estimator模型文件保存和加载
蚂蚁搬家
08-29 3763
1.模型的4个文件 之前一次测试的时候，发现预测概率全部在0.5左右，最后发现是模型加载没有成功，预测结果其实是随机初始化的模型预测结果，所以概率都是0.5。怎么发现是模型没有加载成功呢？我把模型路径下的文件清空了之后预测，没有报错且预测概率就是0.5附近。然后为什么没有加载成功呢，是因为我的模型从平台存储空间上拷贝到测试机上时，只拷贝了model.ckpt-30000.data-00000-of-00001文件，这是不完整的。整个模型其实包含4个文件： model.ckpt-30000.data-000
自定义Estimator
WitsMakeMen的专栏
07-10 693
定义输入函数 def train_input_fn(features, labels, batch_size): """An input function for training""" # Convert the inputs to a Dataset. dataset = tf.data.Dataset.from_tensor_slices((dict(feature...
深度学习入坑（四）---关于保存、读取模型
zym_1990的博客
02-09 4859
TensorFlow 不知道哪个版本出了Estimator这个类之后。模型 数据保存变得相当人性化。自动、定时保存保存数据只在train()进行的时候保存。如下图它主要产生两种文件。一个是checkpoint,记录模型以及训练数据，另一个是event files.在可视化的时候用我现在主要是用checkpoint。无论使用DNNclassifier还是Estimator，如果不指定文件夹，会保存在...
[tensorflow]tf.estimator.Estimator构建tensorflow模型
woniu201411的博客
04-28 2779
目录 一、Estimator简介 二、数据集 三、定义特征列 四、estimator创建模型 五、模型训练、评估和预测 六、模型保存和恢复 一、Estimator简介 Estimator是TensorFlow对完整模型的高级表示。Tensorflow提供一个包含多个API层的编程堆栈： Estimator封装了操作：训练、评估、预测、导出以供使用。 二、数据集 通过tf....
Jupyter notebook用tensorflow踩坑之Cause: No module named ‘tensorflow_core.estimator‘
VOL_POI的博客
12-19 2594
用mudol.save()保存自定义模型时出错： Cause: No module named ‘tensorflow_core.estimator’ 可能是因为tensorflow和tensorflow-estimator版本不一致导致的 在Anaconda Prompt（用管理员身份运行）中输入 activate tf_keras 进入已经创建好的虚拟环境tf_keras： 划红线的（tf_keras）表示已经进入虚拟环境 之后再输入 conda list 查看tensorflow和tensor
tensorflow如何保存best_model
Meteor的笔记
12-28 3046
背景： 在最近的实验中，用到了tensorflow做为我的模型框架。对于我而言，早已听说tensorflow的“赫赫威名”，但实际上我还属于tensorflow的一个新手，因此在实际应用中也遇到了许多问题。今天总结一下，在使用tensorflow框架时，我是如何解决保存最佳model这个问题。 问题描述： 对于保存最佳模型，我有两种思路： 在每个epoch过后，计算改epoch所得到的模型在test数据上的结果。 优点：不需要将所有epoch的model都保存下...
tf.estimator.export_saved_model保存模型
allan2222的博客
11-26 6254
之前使用tensorflow框架做学术研究时多是生成ckpt文件，但是实际工作中，模型上线部署常用 SavedModel 保存模型，生成的模型是封闭的序列化格式，它具有语言独立性，可独立运行，并且可以简单被其他语言（python，java等）调用，SavedModel 格式是tf 2.0 推荐的格式，支持tf-serving部署，部署时很方便。好了介绍了这么多，就是希望告诉大家使用tf框架时最好直接存储成PB文件，方便之后使用。 SavedModel 我们首先看下SavedModel中都包含了什么
tensorflow estimator 训练完的模型与验证时载入的模型是否一致 hook保存模型
心之所向
06-25 2845
estimator有个问题就是验证时是从文件中载入模型的，这样存在问题是无法保证从保存到载入期间的完全正确性。对于这种问题，我们一般采用少量数据，然后在训练集上进行验证。确认预测数据是否一致。主要是使用cond的控制最后几轮不进行训练，并且把数据打印出来。 def train_func(): # 构建训练节点 ...
Tensorflow深度学习笔记（十）--模型保存与重新载入
juyin2015的博客
12-14 2529
在深度学习过程中我们会训练很多的模型，有些模型的训练很费时间。是否可以保存已经训练好的模型应用于后续的图像识别呢？答案自然是肯定的，本节我们来讲述模型的保存与载入。 1.模型的保存 模型的保存有两个步骤： a.创建saver对象 ​ saver = tf.train.Saver() b.训练完成后，保存模型 ​ saver.save(sess,’net/my_net.ckp
TensorFlow Estimator 中的模型保存为Checkpoints格式
凝眸伏笔的博客
12-08 2154
1. 保存经过部分训练的模型 Estimators 在训练过程中会自动将以下内容保存到磁盘： chenkpoints：训练过程中的模型快照。 event files：其中包含 TensorBoard 用于创建可视化图表的信息。
《Estimator工程实现》系列三： 模型导出示例
CapsulE 的博客
06-13 4675
本人原文简书博客地址为: https://www.jianshu.com/p/72058da4d7f7 使用场景 利用estimator进行完模型训练后，我们需要将模型导出成pb文件，以便日后服务部署。在部署serving之前，我们需要先将模型导出成 standard SavedModel format。 利用estimator 进行模型导出，只需要指明模型的输入和输出，然后导出即可。主要涉及到的...
人工智能基础（十六）模型的保存与加载
yizhenxinliang的博客
07-09 344
模型的保存与加载 from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, RidgeCV from sklearn.metrics imp
第五章：新版tensorflow入门，自定义模型（estimator）
amao1998的博客
05-05 9577
1、概述新版tensorflow内置了六款模型，包含线性回归模型和逻辑回归模型，能够使用这些模型非常方便快捷的实现自己的业务需求。但如果内置模型不能满足我们的业务需求时，就需要我们来自定义自己的模型。如下图所示，预创建的 Estimator 是 tf.estimator.Estimator 基类的子类，而自定义 Estimator 是 tf.estimator.Estimator 的实例：模型函数...
TensorFlow学习笔记-tf.estimator
过河小马的专栏
02-20 7569
tfestimatorEstimator 属性 方法 tf.estimator.Estimator Estimator class训练和测试TF模型。Estimator对象封装好通过model_fn指定的模型，给定输入和其它超参数，返回ops执行training, evaluation or prediction. 所有的输出(包含checkpoints, event fil...
Tensorflow API 讲解——tf.estimator.Estimator
热门推荐
HappyRocking的专栏
05-29 2万+
class Estimator(builtins.object) 介绍 Estimator 类，用来训练和验证 TensorFlow 模型。 Estimator 对象包含了一个模型 model_fn，这个模型给定输入和参数，会返回训练、验证或者预测等所需要的操作节点。 所有的输出（检查点、事件文件等）会写入到 model_dir，或者其子文件夹中。如果 model_dir 为空，则默认...
TensorFlow数据处理：tf.data API快速教程
在 TensorFlow 中，`tf.data` 模块是处理数据的核心工具，它提供了一系列的类和方法，用于高效地加载、转换和馈送数据到模型中。这个模块使得数据流水线的构建变得简单，从而能够优化训练过程的性能。本文档主要通过...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值