Checkpoint和SavedModel的区别

最新推荐文章于 2024-12-27 15:04:29 发布
最新推荐文章于 2024-12-27 15:04:29 发布
阅读量1.9k 收藏 1
点赞数 2
分类专栏： tf2.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/QLBFA/article/details/108173308
版权
本文对比了Checkpoint与SavedModel两种模型保存方式。Checkpoint仅保留模型参数，适合在有源代码情况下恢复模型。而SavedModel则包含了完整的TensorFlow程序信息，包括参数与计算流程，无需源代码即可运行，适用于模型分享和部署。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

来源：https://tf.wiki/zh_hans/deployment/export.html
Checkpoint 只保存模型的参数，不保存模型的计算过程，因此一般用于在具有模型源代码的时候恢复之前训练好的模型参数。

而作为模型导出格式的 SavedModel 则更进一步，其包含了一个 TensorFlow 程序的完整信息：不仅包含参数的权值，**还包含计算的流程（即计算图）。当模型导出为 SavedModel 文件时，无须模型的源代码即可再次运行模型，这使得 SavedModel 尤其适用于模型的分享和部署。**后文的 TensorFlow Serving（服务器端部署模型）、TensorFlow Lite（移动端部署模型）以及 TensorFlow.js 都会用到这一格式。

将模型参数打印出来——checkpoint模型、pb模型及其savemodel格式模型
Airstudy的博客
05-09 1600
背景 有时候我们需要探查模型参数，或者在调用模型提示参数错误时，也需要查看模型参数来定位问题，以下是针对不同存储格式的模型，对参数做读取操作 checkpoint模型 #!/usr/bin/env python # -*- coding: UTF-8 -*- import tensorflow as tf from tensorflow.python import pywrap_tensorflow def show_ckp_params(): model_dir = "./output/cho
Bert分类将检查点ckpt模型转成saved model的pb模型
qq_38163931的博客
06-22 1460
使用官方提供的Bert中文模型做分类之后，由于某些方面的需求，需要将训练的checkpoints模型转换成pb模型，但是由于对Bert模型不是很了解，一些方法没法使用，最后找到一些工具，成功转换。这里记录一下。如果有和我情况完全一致的人，可以使用和我一样的方法来转换。下面记录下我的出错流水账。 我的情况： 1.使用的是Bert模型的分类模型（见2.2第一个参考博文，里面说别的模型可能会出错） 2.没有仔细看代码，不清楚Bert模型的输入输出变量都是什么（知道的就能用2.1的通用方法了）。 这里顺便记
torch.save 和 model.save_checkpoint()
最新发布
weixin_44012667的博客
12-27 391
是 PyTorch 的一个通用函数，用于保存任意 Python 对象到磁盘文件中，特别适合保存模型、优化器状态、张量等。通常是深度学习框架或工具库中自定义的函数，特定于某些高级模型类或训练框架，例如 Hugging Face、这不是 PyTorch 原生的 API。
辨析tensorflow模型存储形式：checkpoint、graphdef、savedmodel、frezzemodel
qq_42058018的博客
09-17 1923
在tensorflow中模型信息的保存主要有四种文件形式： 1、checkpoint 在训练 TensorFlow 模型时，每迭代若干轮需要保存一次权值到磁盘，称为“checkpoint”。 这种格式文件是由 tf.train.Saver() 对象调用 saver.save() 生成的，只包含若干 Variables 对象序列化后的数据，不包含图结构，所以只给 checkpoint 模型，而不提供模型定义代码是无法重新构建计算图的。 说白了checkpoint就是只保存了参数值，但没有保存模型.
ModelCheckpoint和自定义回调函数（on_epoch_end）
qq_43950348的博客
08-07 3925
ModelCheckpoint和自定义回调函数（on_epoch_end）区别 根据keras中文文档ModelCheckpoint的作用是：在每个训练期之后保存模型。 keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1) filepath 可以包括命名格式选项，可以由 epo
Keras框架下的保存模型和加载模型
kyle1314608的博客
07-19 524
在Keras框架下训练深度学习模型时，一般思路是在训练环境下训练出模型，然后拿训练好的模型（即保存模型相应信息的文件）到生产环境下去部署。在训练过程中我们可能会遇到以下情况： 需要运行很长时间的程序在迭代到中间某一代时出现意外；人为地想停止训练过程，也许是为了用测试数据测试模型，然后从上一个检查点继续训练模型；想通过损失函数和评估指标，在每次训练过程中保存模型的最佳版本。 ...
tensorflow转换ckpt为savermodel模型的实现
12-17
ckpt转换成SavedModel convert_ckpt_to_savermodel.py import tensorflow as tf import sys trained_checkpoint_prefix = sys.argv[1] export_dir = sys.argv[2] graph = tf.Graph() config=tf.ConfigProto(allow_...
Tensorflow 模型保存与恢复（2）使用SavedModel
JerryZhang__的博客
12-17 9600
使用SavedModel 保存和恢复模型 上一篇介绍了使用tf.train.Saver()保存模型checkpoint的方法，本篇介绍使用SavedModel进行模型的保存与恢复。 SavedModel 是一种跨语言的序列化格式（protobuf），可以保存和加载模型变量、图和图的元数据，适用于将训练得到的模型保存用于生产环境中的预测过程。由于跨语言的特性，应用时，可以使用一种语言保存模型，如训练...
TensorFlow SavedModel保存和加载模型
热门推荐
hustqb的博客
06-23 2万+
声明： 参考TensorFlow官方文档 SavedModel 如果你想保存或恢复模型，我们推荐使用SaveModel. SaveModel是一种与语言无关，可恢复的密封式序列化格式。TensorFlow提供了多种与SavedModel交互的机制，如tf.saved_model API、Estimator API和CLI。 PS: 本文只介绍tf.saved_model API ...
ckpt模型转换为tf serving的saved model格式
u012433049的博客
03-20 2517
最近这段时间又开始在弄部署问题，使用的是Google的Tensorflow serving框架，使用的环境是Ubuntu16.0.4+docker+tensorflow serving。如果需要知道这个框架怎么搭建，可以看我之前的博客https://blog.youkuaiyun.com/u012433049/article/details/88972850；模型部署测试https://blog.csdn.n...
ModelCheckpoint自动保存模型
种一棵树最好的时间是十年前，其次是现在
02-14 4423
-- coding: utf-8 -- import tensorflow as tf import json import tensorflow.keras.models from tensorflow.keras.callbacks import * #这是独立的包 import tensorflow.keras mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train
ModelCheckpoint（）各参数含义及模型保存载入
m0_45373271的博客
08-20 3406
from keras.callbacks import Callback from keras.callbacks import ModelCheckpoint Keras中使用ModelCheckpoint对训练完成的模型进行保存及载入 Keras函数——keras.callbacks.ModelCheckpoint()各参数解释及模型的训练
ModelCheckpoint技术
averyborton的博客
11-17 1719
在神经网络的训练学习过程中，常常需要把训练好的模型保存下来，ModelCheckpoint技术就是一种很实用的模型保存与改进方法。 在keras中通过回调API实现Checkpoint功能，本质上是callbacks的一个类。使用前需要从keras库中调用： from kearas.callbacks import ModelCheckpoint ModelCheckpoint的一般格式是： checkpoint = ModelCheckpoint(filename, monitor='loss', ve
什么是Checkpoint？
Flemington7的博客
05-18 1万+
在机器学习和深度学习中，checkpoint（检查点）是指在模型训练过程中保存的模型状态。这些检查点通常包括模型的参数（权重和偏置）、优化器状态和其他相关的训练信息。通过保存检查点，您可以在训练过程中定期保存模型的当前状态，以便在需要时恢复训练或用于模型评估和推理。Checkpoint 是机器学习和深度学习训练过程中的重要工具。它可以防止数据丢失，帮助调试和优化模型，并在模型评估和推理中发挥重要作用。通过定期保存检查点，您可以在训练过程中随时恢复模型状态，继续训练或进行推理。
ModelCheckpoint详解
you 是 mine
10-14 2万+
keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1) 作用 该回调函数将在每个epoch后保存模型到filepath 参数 **filename：**字符串，保存模型的
2024-05-09 问AI: 在深度学习中，什么是模型检查点？
baidu_24377669的博客
05-09 1343
在深度学习中，“模型检查点”（Model Checkpoint）是指训练过程中的一个保存点，它包含了模型在那一特定时刻的权重、配置和优化器的状态等信息。通常，模型检查点会包括除了模型参数之外的其他信息，如学习率、优化器的状态等，以便在恢复训练时能够保持这些状态，确保训练过程的连续性。在实际应用中，模型检查点还可以用于分布式训练，使得不同节点上的训练可以无缝连接，共同推进模型的训练进程。模型检查点的主要作用是在训练过程中定期保存模型的状态，以便在必要时可以恢复训练，避免从头开始重新训练。
tensorflow不同模型格式的区别和含义
qq_43802016的博客
08-09 823
checkpoint、SavedModel和protobuf都是TensorFlow中常见的模型保存和加载格式，互相可以进行转换，其中.pb结尾的可能是savemodel也可能是protobuf，用来做部署的一般都是probobuf格式。
【重点学习】模型训练过程中回调函数的作用
weixin_44943389的博客
03-04 713
在Keras中，回调函数（Callbacks）是在训练过程中（在某些特定时刻）被调用的一组函数，用于执行一些任务。这些回调函数通过监控训练过程中的某些指标，帮助我们更有效地训练模型，防止过拟合，并在合适的时候调整学习率，从而提高模型的性能。: 当一个指标停止提升时，用于减少学习率。如果在一定数量的epoch之后，验证损失没有改善，那么将学习率减少一个因子。: 用于在训练过程中保存模型。它可以保存训练过程中的最佳模型，也可以每个epoch后保存模型。个epoch没有改善时，训练将停止。: 用于提前终止训练。
【Legged Gym】Legged Gym训练参数详解与自定义任务实现
xuzhengzhe的博客
09-07 3214
Legged Gym 允许用户通过自定义 task 来实现新的任务。task 类定义了机器人在环境中需要完成的任务目标和评估标准。要创建自定义任务，你需要继承 Legged Gym 的 Task 基类，并实现必要的方法，如__init__reset和step。这些方法定义了任务的初始化、重置和每个时间步的行为。
keras.callbacks.ModelCheckpoint
03-31
The `ModelCheckpoint` callback in Keras is used to save the model after every epoch or a certain number of epochs during training. This callback is useful when training deep learning models that can ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值