Tensorboard estimator export_savedmodel简单用法

最新推荐文章于 2025-09-11 05:45:36 发布
原创 最新推荐文章于 2025-09-11 05:45:36 发布 · 4.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorboard

本文详细介绍如何使用TensorFlow定义输入占位符，构建输入函数，并通过estimator.export_savedmodel方法将模型导出为SavedModel格式，便于后续的模型部署与服务化。同时，文章还涉及了模型导出过程中的一些关键参数设置，如词汇表文件的额外资产添加等。
部署运行你感兴趣的模型镜像 
# add export graph
def serving_input_fn():
    input_ids = tf.placeholder(dtype=tf.int32, shape=[None, FLAGS.max_seq_length], name="input_ids")
    input_mask = tf.placeholder(dtype=tf.int32, shape=[None, FLAGS.max_seq_length], name="input_mask")
    segment_ids = tf.placeholder(dtype=tf.int32, shape=[None, FLAGS.max_seq_length], name="segment_ids")
    label_ids = tf.placeholder(dtype=tf.int32, shape=[None], name="label_ids")
    string_2 = tf.placeholder(dtype=tf.string, shape=[None], name="string_2")

    features = {'input_ids': input_ids,
                'input_mask': input_mask,
                'segment_ids': segment_ids,
                'label_ids': label_ids,
                'string_2': string_2}
    return tf.contrib.learn.InputFnOps(features, None, default_inputs=features)

export_dir = os.path.join(FLAGS.output_dir, "saved_model")
estimator.export_savedmodel(export_dir, serving_input_fn(),
                            assets_extra={"vocab.txt": FLAGS.vocab_file},
                            as_text=False,
                            strip_default_attrs=True)

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

export_savedmodel
u013385018的专栏
07-27 593
TensorFlow Estimator 模型从训练到部署 https://mp.weixin.qq.com/s/ZNs0eEOCSR-0HOd5lM3ekg
TensorFlow系列——在自定义的标准estimator中使用tensorboard及打印中间数据
有信念，才能走的更远
06-03 2088
1、定义hook钩子函数用于获取指定名称的中间数据 class YourOwnHook(tf.train.SessionRunHook): def __init__(self): np.set_printoptions(suppress=True) np.set_printoptions(linewidth=400) def before_run(self, run_context): """返回SessionRunArgs和sessio
tf.estimator.export_saved_model保存模型
allan2222的博客
11-26 6254
之前使用tensorflow框架做学术研究时多是生成ckpt文件，但是实际工作中，模型上线部署常用 SavedModel 保存模型，生成的模型是封闭的序列化格式，它具有语言独立性，可独立运行，并且可以简单被其他语言（python，java等）调用，SavedModel 格式是tf 2.0 推荐的格式，支持tf-serving部署，部署时很方便。好了介绍了这么多，就是希望告诉大家使用tf框架时最好直接存储成PB文件，方便之后使用。 SavedModel 我们首先看下SavedModel中都包含了什么
tensorflow/models模型导出：SavedModel格式详解
gitblog_00220的博客
09-11 445
在机器学习模型部署过程中，模型格式的选择至关重要。TensorFlow SavedModel格式是TensorFlow生态系统中的标准模型序列化格式，它提供了完整的模型表示，包括权重、计算图、签名定义（SignatureDef）以及所有必要的元数据。 SavedModel的核心优势在于： - **跨平台兼容性**：可在TensorFlow Serving、TensorFlow Lite、Tens...
tensorboard查看tf saved_model
github_39605284的博客
04-07 312
# coding: utf-8 from __future__ import print_function import tensorflow.compat.v1 as tf tf.disable_v2_behavior() sess=tf.Session() tf.train.import_meta_graph("../model/shakespeare/model-200.meta") tf.summary.FileWriter("log",sess.graph) sess.close()
ImportError: cannot import name ‘export_saved_model‘ from ‘tensorflow.python.keras.saving.saved_mode
热门推荐
Foools的博客
03-14 1万+
项目场景： 在尝试搭建深度学习环境的时候遭遇这个问题。 M1芯片的MacBookPro环境 问题描述： 在搭建好了anaconda环境并且已经安装好了tensorflow，在pycharm运行程序的时候出现了这个问题。 错误展示： /Users/lizhihan/coding/anaconda3/envs/tensorflow/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:516: FutureWarning: Pa
WARNING: The scripts estimator_ckpt_converter.exe, import_pb_to_tensorboard.exe, saved_model_cli.exe, tensorboard.exe, tf_upgrade_v2.exe, tflite_convert.exe, toco.exe and toco_from_protos.exe are installed in 'C:\Users\XIETONG\AppData\Roaming\Python\Python39\Scripts' which is not on PATH. Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location. ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. tensorflow-intel 2.13.0 requires keras<2.14,>=2.13.1, but you have keras 2.10.0 which is incompatible. tensorflow-intel 2.13.0 requires protobuf!=4.21.0,!=4.21.1,!=4.21.2,!=4.21.3,!=4.21.4,!=4.21.5,<5.0.0dev,>=3.20.3, but you have protobuf 3.19.6 which is incompatible. tensorflow-intel 2.13.0 requires tensorboard<2.14,>=2.13, but you have tensorboard 2.10.1 which is incompatible. tensorflow-intel 2.13.0 requires t
04-25
用户提到了tensorflow-intel 2.13.0与keras 2.10.0、protobuf 3.19.6、tensorboard 2.10.1之间的依赖冲突，还有PATH环境变量的警告。首先，我得回忆一下常见的TensorFlow依赖问题和解决方法。 首先，用户可能通过...
自动将代码升级到TensorFlow 2代码——tf_upgrade_v2.py
一摩尔自由的博客
10-09 6756
TensorFlow升级到2.0后给出了代码自动升级的脚本和使用方法，详情可见官网 TensorFlow官网：https://www.tensorflow.org/guide/upgrade 代码链接： tf_upgrade_v2.py # Copyright 2018 The TensorFlow Authors. All Rights Reserved. # # Licensed u...
TensorFlow基于Estimator的模型训练流程
本章将介绍TensorFlow的基本概念与特点，以及TensorFlow中Estimator的作用与优势。 ### 1.1 TensorFlow的概念与特点 TensorFlow的核心概念是数据流图（Data Flow Graph）。在TensorFlow中，用户通过定义计算任务的...
tensorflow 训练接口
andylei777的博客
01-15 4268
learn_runner experiment 核心 初始化 train experimenttrain estimatortrain train_and_evaluate experimenttrain_and_evaluate estimatorevaluatelearn_runner使用接口from tensorflow.contrib.learn import learn_runnerdef
9、模型训练全流程：从定义到部署
rainy的博客
08-12 39
本文详细介绍了在TFX管道中进行模型训练的全流程，从数据预处理到模型部署的各个环节。重点阐述了TFX训练器组件的使用方法，包括数据加载、模型定义、编译训练、模型导出等关键步骤，并提供了训练流程的mermaid图解。此外，还探讨了训练器组件的高级应用场景，如模型微调、多模型训练、超参数搜索、分布式训练以及训练过程的性能优化策略。文章还介绍了错误处理和监控训练过程的方法，以确保训练的稳定性和可靠性。
estimator 模型保存与使用
lzay的博客
04-02 2386
1：estimator 是tensorflow的高级封装库，但是tensorflow 分为两个版本，1.X与2.X,本次文章两个版本都会说明，方便大家进行判断 1.0保存与读取 output_dir=’../outer‘ def serving_input_fn(): label_ids = tf.placeholder(tf.int32, [None, max_seq_length], name='label_ids') input_ids = tf.placeholder(tf.int3
【Tensorflow】用于构建大规模分布式模型的高阶API(四)_Estimator模型的保存
bqw的博客
06-07 1189
import numpy as np import pandas as pd import tensorflow as tf from sklearn import datasets from sklearn.model_selection import train_test_split iris = datasets.load_iris() train_x,test_x,train_y,tes...
Tensorboard, tensorflow-estimator, tensorflow-gpu的关系
qq_43340256的博客
07-19 609
tensorboard是一个用于可视化tensorflow训练过程的工具，它可以显示模型的图结构、各种指标的变化曲线、权重的分布直方图等，帮助您分析和调试模型的性能和行为。 tensor-estimator是一个高级的tensorflow API，它可以封装训练、评估、预测和部署模型的常用操作，简化您的编程流程。tensorflow提供了一些预定义的estimator，如DNNClassifier、LinearRegressor等，也允许您自定义estimator。 tensorflow-gpu是一
TensorFlow Estimator 模型从训练到部署
abcdefg90876的博客
03-30 757
引言TensorFlow是目前流行的机器学习框架，用户可以基于TensorFlow方便地构建机器学习模型，并将模型部署到线上提供服务。最近看Estimator框架比较流行，公司也想看Wid...
tensorflow 开始——创建定制化 Estimator（创建自定义评估器）
Dontla的博客
02-10 834
参考文章：创建定制化 Estimator 文章目录创建定制化 Estimator预制 vs. 定制化创建功能列写一个模型函数定义模型定义输出层隐藏层输出层实现训练、评估、预测 {#modes}预测计算损失评估训练定制化 EstimatorTensorBoard总结 创建定制化 Estimator Premade Estimators 下载及访问示例代码，请调用以下两个命令： git clone h...
《Estimator工程实现》系列三： 模型导出示例
CapsulE 的博客
06-13 4677
本人原文简书博客地址为: https://www.jianshu.com/p/72058da4d7f7 使用场景 利用estimator进行完模型训练后，我们需要将模型导出成pb文件，以便日后服务部署。在部署serving之前，我们需要先将模型导出成 standard SavedModel format。 利用estimator 进行模型导出，只需要指明模型的输入和输出，然后导出即可。主要涉及到的...
保存和恢复模型~tensorflow
TJMtaotao的博客，高校计算机教师
04-24 654
模型进度可在训练期间和之后保存。这意味着，您可以从上次暂停的地方继续训练模型，避免训练时间过长。此外，可以保存意味着您可以分享模型，而他人可以对您的工作成果进行再创作。发布研究模型和相关技术时，大部分机器学习从业者会分享以下内容： 用于创建模型的代码，以及 模型的训练权重或参数 分享此类数据有助于他人了解模型的工作原理并尝试使用新数据自行尝试模型。 设置 安装和导入 安装并导入 Tens...
Tenorflow -- estimator
joyce_peng的博客
08-09 602
目录： 1、构建Estimator和model_fn 2、使用 tf.estimator.TrainSpec 指定训练输入函数及相关参数 3、使用 tf.estimator.EvalSpec 指定验证输入函数及相关参数 4、使用 tf.estimator.train_and_evaluate 启动训练和验证过程 5、使用estimator.export_savedmodel导出模型 其中5可选 tf.estimator是tensorflow的high level api 1、构建Estimator（包含构
TypeError: fit() got an unexpected keyword argument 'estimator__sample_weight'
最新发布
09-19
这个错误： ```python TypeError: fit() got an unexpected keyword argument 'estimator__sample_weight' ``` 说明你尝试在 `fit()` 中传入一个叫 `estimator__sample_weight` 的参数，但模型的 `fit()` 方法并不接受它。 --- ## 🧨 错误原因分析 你在使用类似这样的代码时出错了： ```python grid_search.fit(X_train, y_train, estimator__sample_weight=samples_weights) ``` 或者： ```python cross_val_score(model, X_train, y_train, fit_params={'estimator__sample_weight': ...}) ``` 你本意是想给 `XGBRegressor` 传递样本权重（`sample_weight`），但由于你是用 `MultiOutputRegressor` 包裹的模型，**不能直接通过 `estimator__xxx` 向底层模型传递非标准参数**。 > ❌ `estimator__sample_weight` 并不是一个有效的参数转发方式，尤其是对 `sample_weight` 这种特殊参数。 --- ## ✅ 正确解决方案：使用 `fit_params` + `sample_weight` 的正确传递方式 ### ✅ 方法一：使用 `MultiOutputRegressor` 时，手动循环每个输出并设置 `sample_weight` 因为 `MultiOutputRegressor` 不支持自动转发 `sample_weight` 到每个子模型，所以我们需要 **自定义封装或手动处理**。 #### ✔️ 推荐做法：使用 `RegressorChain` 或 **自己写一个支持 sample_weight 的 MultiOutput 模型** 但最简单的方式是：**逐个训练每个输出，并分别传入 sample_weight** ```python from sklearn.base import clone import numpy as np class MultiOutputWithSampleWeight: def __init__(self, estimator): self.estimator = estimator self.estimators_ = [] def fit(self, X, y, sample_weight=None): self.estimators_ = [] n_targets = y.shape[1] for i in range(n_targets): est = clone(self.estimator) if sample_weight is not None: est.fit(X, y[:, i], sample_weight=sample_weight) else: est.fit(X, y[:, i]) self.estimators_.append(est) return self def predict(self, X): predictions = np.column_stack([est.predict(X) for est in self.estimators_]) return predictions ``` ### ✅ 使用示例： ```python # 假设你有样本权重（例如根据数据可靠性设定） sample_weight = np.ones(len(X_train)) # 示例：全为1，你可以自定义 # 创建你的模型 xgb_model = XGBRegressor(random_state=42) # 包装成支持 sample_weight 的多输出模型 multi_xgb = MultiOutputWithSampleWeight(xgb_model) # 训练（现在可以传 sample_weight） multi_xgb.fit(X_train, y_train, sample_weight=sample_weight) # 预测 y_pred = multi_xgb.predict(X_test) ``` --- ## ✅ 方法二：如果你坚持要用 `GridSearchCV` 或 `cross_validate`，也要配合 `fit_params` ```python from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid = { 'estimator__n_estimators': [100, 200], 'estimator__max_depth': [3, 5] } # 注意：这里不能用 estimator__sample_weight # 所以我们要改用上面自定义的 multi-output 类 # 改用我们自己的类 grid_search = GridSearchCV( MultiOutputWithSampleWeight(XGBRegressor()), param_grid, cv=3, scoring='r2', verbose=1 ) # 现在可以安全地传 fit_params grid_search.fit( X_train, y_train, sample_weight=sample_weight # 直接传进去，在 fit 中处理 ) ``` --- ## ❌ 为什么 `estimator__sample_weight` 不行？ - `estimator__xxx` 是用来设置子估计器的 **构造参数（init 参数）** - 而 `sample_weight` 是 `fit()` 方法的一个参数，不是初始化参数 - 即使你能写 `estimator__sample_weight`，`MultiOutputRegressor` 内部也不会把它转发到 `.fit(X, y, sample_weight=...)` 中 👉 所以这条路走不通。 --- ## ✅ 方法三：如果不需要 `sample_weight`，那就别传！ 如果你只是调试时误加了这句： ```python grid_search.fit(X_train, y_train, estimator__sample_weight=None) ``` 那你应该删掉这个参数！因为它根本无效。 ✅ 正确写法是： ```python grid_search.fit(X_train, y_train) ``` 除非你真的需要加权训练，否则不要引入不必要的 `fit_params`。 --- ## 🔍 如何判断是否需要 `sample_weight`？ 只有当你有以下情况才需要： - 某些样本更可靠（比如实验重复多次的数据） - 数据存在类别不平衡（分类任务中常见） - 想强调某些区域的预测精度（如高 UTS 材料更重要） 如果没有明确理由，**不用加 `sample_weight`** --- ## ✅ 总结：如何避免此类错误 | 问题 | 解决方案 | |------|----------| | `estimator__sample_weight` 报错 | 删除该参数，或改用自定义多输出模型 | | `MultiOutputRegressor` 不支持 `sample_weight` | 自己实现支持该功能的包装类 | | 想做网格搜索又想加权 | 使用自定义类 + `fit_params` 在 `fit()` 中处理 | | 不确定要不要权重 | 先去掉，确保基础流程跑通 | --- ###
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值