Tensorflow: tf.estimator.Estimator保存唯一模型

最新推荐文章于 2022-04-02 16:06:25 发布
最新推荐文章于 2022-04-02 16:06:25 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/alphonse2017/article/details/103232777
版权
本文介绍如何在TensorFlow中优化模型的checkpoint保存策略，通过调整RunConfig参数，将默认的保存5个模型检查点减少到仅保留最新的一个，有效节省了存储空间并简化了模型管理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

checkpoint 模型保存数量默认为5个， 为方便管理，调整数量为只保留1个

在train.py 中   加入

run_config = tf.estimator.RunConfig( save_checkpoints_secs=1e9, keep_checkpoint_max = 1 )

modle = tf.estimator.Estimator( model_fn=FLAGS.Model_function[0],   

                                                  model_dir=FLAGS.model_dir,

                                                  params=FLAGS.Model_fn_params,

                                                  config=run_config )

 


参考致谢：https://blog.youkuaiyun.com/roxxo/article/details/89886552

tf.estimator保存的ckpt转存为pb
_Hope_
01-27 1925
tf.estimator的input_fn部分代码： def input_fn_builder(input_files, is_training, num_cpu_threads=4): def input_fn(params): name_to_features = { "label": tf.FixedLenFeature([5], tf.
tensorflow: 在Estimator中使用tf.summary把变量序列化到日志供tensorboard读取
da_kao_la的博客
11-25 3944
tensorflow版本：1.11.0 最近在改bert的代码，想要通过tensorboard查看修改后的bert模型训练过程中的参数变化。bert的代码用的是Estimator结构写的，Estimator是tensorflow的一个高阶API（一个关于Estimator的中文文档），封装得比较好，但是相应地修改起来不是很方便。一般来说，在Estimator的train/eval/predict中...
tensorflow笔记(二十六）——tf.estimator模型文件保存和加载
蚂蚁搬家
08-29 3667
1.模型的4个文件 之前一次测试的时候，发现预测概率全部在0.5左右，最后发现是模型加载没有成功，预测结果其实是随机初始化的模型预测结果，所以概率都是0.5。怎么发现是模型没有加载成功呢？我把模型路径下的文件清空了之后预测，没有报错且预测概率就是0.5附近。然后为什么没有加载成功呢，是因为我的模型从平台存储空间上拷贝到测试机上时，只拷贝了model.ckpt-30000.data-00000-of-00001文件，这是不完整的。整个模型其实包含4个文件： model.ckpt-30000.data-000
estimator 模型保存与使用
lzay的博客
04-02 2334
1：estimator 是tensorflow的高级封装库，但是tensorflow 分为两个版本，1.X与2.X,本次文章两个版本都会说明，方便大家进行判断 1.0保存与读取 output_dir=’../outer‘ def serving_input_fn(): label_ids = tf.placeholder(tf.int32, [None, max_seq_length], name='label_ids') input_ids = tf.placeholder(tf.int3
【Tensorflow】用于构建大规模分布式模型的高阶API(四)_Estimator模型的保存
bqw的博客
06-07 1156
import numpy as np import pandas as pd import tensorflow as tf from sklearn import datasets from sklearn.model_selection import train_test_split iris = datasets.load_iris() train_x,test_x,train_y,tes...
自定义Estimator
WitsMakeMen的专栏
07-10 665
定义输入函数 def train_input_fn(features, labels, batch_size): """An input function for training""" # Convert the inputs to a Dataset. dataset = tf.data.Dataset.from_tensor_slices((dict(feature...
深度学习入坑（四）---关于保存、读取模型
zym_1990的博客
02-09 4816
TensorFlow 不知道哪个版本出了Estimator这个类之后。模型 数据保存变得相当人性化。自动、定时保存保存数据只在train()进行的时候保存。如下图它主要产生两种文件。一个是checkpoint,记录模型以及训练数据，另一个是event files.在可视化的时候用我现在主要是用checkpoint。无论使用DNNclassifier还是Estimator，如果不指定文件夹，会保存在...
[tensorflow]tf.estimator.Estimator构建tensorflow模型
woniu201411的博客
04-28 2733
目录 一、Estimator简介 二、数据集 三、定义特征列 四、estimator创建模型 五、模型训练、评估和预测 六、模型保存和恢复 一、Estimator简介 Estimator是TensorFlow对完整模型的高级表示。Tensorflow提供一个包含多个API层的编程堆栈： Estimator封装了操作：训练、评估、预测、导出以供使用。 二、数据集 通过tf....
Jupyter notebook用tensorflow踩坑之Cause: No module named ‘tensorflow_core.estimator‘
VOL_POI的博客
12-19 2543
用mudol.save()保存自定义模型时出错： Cause: No module named ‘tensorflow_core.estimator’ 可能是因为tensorflow和tensorflow-estimator版本不一致导致的 在Anaconda Prompt（用管理员身份运行）中输入 activate tf_keras 进入已经创建好的虚拟环境tf_keras： 划红线的（tf_keras）表示已经进入虚拟环境 之后再输入 conda list 查看tensorflow和tensor
tensorflow如何保存best_model
Meteor的笔记
12-28 2956
背景： 在最近的实验中，用到了tensorflow做为我的模型框架。对于我而言，早已听说tensorflow的“赫赫威名”，但实际上我还属于tensorflow的一个新手，因此在实际应用中也遇到了许多问题。今天总结一下，在使用tensorflow框架时，我是如何解决保存最佳model这个问题。 问题描述： 对于保存最佳模型，我有两种思路： 在每个epoch过后，计算改epoch所得到的模型在test数据上的结果。 优点：不需要将所有epoch的model都保存下...
tensorflow estimator 训练完的模型与验证时载入的模型是否一致 hook保存模型
心之所向
06-25 2799
estimator有个问题就是验证时是从文件中载入模型的，这样存在问题是无法保证从保存到载入期间的完全正确性。对于这种问题，我们一般采用少量数据，然后在训练集上进行验证。确认预测数据是否一致。主要是使用cond的控制最后几轮不进行训练，并且把数据打印出来。 def train_func(): # 构建训练节点 ...
Tensorflow深度学习笔记（十）--模型保存与重新载入
juyin2015的博客
12-14 2498
在深度学习过程中我们会训练很多的模型，有些模型的训练很费时间。是否可以保存已经训练好的模型应用于后续的图像识别呢？答案自然是肯定的，本节我们来讲述模型的保存与载入。 1.模型的保存 模型的保存有两个步骤： a.创建saver对象 ​ saver = tf.train.Saver() b.训练完成后，保存模型 ​ saver.save(sess,’net/my_net.ckp
TensorFlow Estimator 中的模型保存为Checkpoints格式
凝眸伏笔的博客
12-08 2054
1. 保存经过部分训练的模型 Estimators 在训练过程中会自动将以下内容保存到磁盘： chenkpoints：训练过程中的模型快照。 event files：其中包含 TensorBoard 用于创建可视化图表的信息。
《Estimator工程实现》系列三： 模型导出示例
CapsulE 的博客
06-13 4612
本人原文简书博客地址为: https://www.jianshu.com/p/72058da4d7f7 使用场景 利用estimator进行完模型训练后，我们需要将模型导出成pb文件，以便日后服务部署。在部署serving之前，我们需要先将模型导出成 standard SavedModel format。 利用estimator 进行模型导出，只需要指明模型的输入和输出，然后导出即可。主要涉及到的...
人工智能基础（十六）模型的保存与加载
yizhenxinliang的博客
07-09 320
模型的保存与加载 from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, RidgeCV from sklearn.metrics imp
TensorFlow学习笔记-tf.estimator
过河小马的专栏
02-20 7506
tfestimatorEstimator 属性 方法 tf.estimator.Estimator Estimator class训练和测试TF模型。Estimator对象封装好通过model_fn指定的模型，给定输入和其它超参数，返回ops执行training, evaluation or prediction. 所有的输出(包含checkpoints, event fil...
TensorFlow Estimator 官方文档之----Checkpoints
热门推荐
黑暗星球
10-10 1万+
本文介绍了 Estimators 模型的保存和恢复。 TensorFlow提供了两种模型格式： checkpoints：该格式不可以跨语言。 SavedModel：该格式可以跨语言。 本文主要讲述checkpoints相关内容。关于 SavedModel 的更多细节，详见 Saving and Restoring。 Estimator 模型的保存 Estimators 在训练过程中会自动将以下...
tensorflow estimator详细介绍，实现模型的高效训练
sgyuanshi的博客
05-26 6146
estimator是tensorflow高度封装的一个类，里面有一些可以直接使用的分类和回归模型，例如tf.estimator.DNNClassifier，但这不是这篇博客的主题，而是怎么使用estimator来实现我们自定义模型的训练。它的步骤主要分为以下几个部分： 构建model_fn，在这个方法里面定义自己的模型以及训练和测试过程要做的事情； 构建input_fn，在这个方法数据的来源和喂...
TensorFlow之保存/恢复模型
qiusuoxiaozi的博客
10-11 1389
模型保存# save the specific variables saver = tf.train.Saver(...variables list...)# this will only save trainable variables saver = tf.train.Saver(tf.trainable_variables()) # this will save all the variabl
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值