Checkpoint和SavedModel的区别

最新推荐文章于 2025-04-16 13:10:29 发布
原创 最新推荐文章于 2025-04-16 13:10:29 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文对比了Checkpoint与SavedModel两种模型保存方式。Checkpoint仅保留模型参数，适合在有源代码情况下恢复模型。而SavedModel则包含了完整的TensorFlow程序信息，包括参数与计算流程，无需源代码即可运行，适用于模型分享和部署。

来源：https://tf.wiki/zh_hans/deployment/export.html
Checkpoint 只保存模型的参数，不保存模型的计算过程，因此一般用于在具有模型源代码的时候恢复之前训练好的模型参数。

而作为模型导出格式的 SavedModel 则更进一步，其包含了一个 TensorFlow 程序的完整信息：不仅包含参数的权值，**还包含计算的流程（即计算图）。当模型导出为 SavedModel 文件时，无须模型的源代码即可再次运行模型，这使得 SavedModel 尤其适用于模型的分享和部署。**后文的 TensorFlow Serving（服务器端部署模型）、TensorFlow Lite（移动端部署模型）以及 TensorFlow.js 都会用到这一格式。

Bert分类将检查点ckpt模型转成saved model的pb模型
qq_38163931的博客
06-22 1535
使用官方提供的Bert中文模型做分类之后，由于某些方面的需求，需要将训练的checkpoints模型转换成pb模型，但是由于对Bert模型不是很了解，一些方法没法使用，最后找到一些工具，成功转换。这里记录一下。如果有和我情况完全一致的人，可以使用和我一样的方法来转换。下面记录下我的出错流水账。 我的情况： 1.使用的是Bert模型的分类模型（见2.2第一个参考博文，里面说别的模型可能会出错） 2.没有仔细看代码，不清楚Bert模型的输入输出变量都是什么（知道的就能用2.1的通用方法了）。 这里顺便记
tensorflow模型保存（三）——tensorflow1.x版本的savedmodel格式的模型保存与加载
MIss-Y的博客
05-06 1万+
前言：前面的两篇文章已经分别介绍了高层API与低层API关于各种模型的保存，比如在tensorflow2.x中如何保存checkpoint与savedmodel，在tensorflow1.x中如何保存checkpoint，本文着重介绍在tensorflow1.x版本中怎么保存savedmodel。 要想恢复模型并能够正确的加载，最核心的就在于要给模型的输入与输出起一...
ModelCheckpoint技术
averyborton的博客
11-17 1840
在神经网络的训练学习过程中，常常需要把训练好的模型保存下来，ModelCheckpoint技术就是一种很实用的模型保存与改进方法。 在keras中通过回调API实现Checkpoint功能，本质上是callbacks的一个类。使用前需要从keras库中调用： from kearas.callbacks import ModelCheckpoint ModelCheckpoint的一般格式是： checkpoint = ModelCheckpoint(filename, monitor='loss', ve
checkpoint和pretrain文件有什么区别
zrororo的博客
09-19 1178
这些预训练模型经过了大量的训练，可以作为一个很好的特征提取器，甚至可以用于迁移学习，将其应用到新的任务中，以节省训练时间并提升模型性能。：它可以在训练过程中定期保存，以便在训练过程中出现意外情况（如程序中断、崩溃等）时能够从中断的地方恢复训练，而不需要重新开始训练。：Pretrained Model 是在大规模数据集上预先训练好的模型，通常用于解决特定的任务，如图像分类、目标检测等。：Checkpoint 是模型训练过程中的一个保存点，通常保存了模型的参数和优化器的状态。：通常以特定的文件格式（如。
model checkpoint保存模型出错问题分析
herr_kun的博客
06-19 3357
问题描述： model在训练的时候不断调用 checkpoint 进行模型的报错，但是在调用的时候回报错：TypeError: No conversion path for dtype: dtype(’<U49’)，当设置只保存模型权重的时候又会报错：RuntimeError: Unable to create link (name already exists)，综合应该是H5文件读写的问题 问题分析： 针对只保存模型权重时的报错：RuntimeError: Unable to create lin
torch.save 和 model.save_checkpoint()
weixin_44012667的博客
12-27 619
是 PyTorch 的一个通用函数，用于保存任意 Python 对象到磁盘文件中，特别适合保存模型、优化器状态、张量等。通常是深度学习框架或工具库中自定义的函数，特定于某些高级模型类或训练框架，例如 Hugging Face、这不是 PyTorch 原生的 API。
辨析tensorflow模型存储形式：checkpoint、graphdef、savedmodel、frezzemodel
qq_42058018的博客
09-17 2050
在tensorflow中模型信息的保存主要有四种文件形式： 1、checkpoint 在训练 TensorFlow 模型时，每迭代若干轮需要保存一次权值到磁盘，称为“checkpoint”。 这种格式文件是由 tf.train.Saver() 对象调用 saver.save() 生成的，只包含若干 Variables 对象序列化后的数据，不包含图结构，所以只给 checkpoint 模型，而不提供模型定义代码是无法重新构建计算图的。 说白了checkpoint就是只保存了参数值，但没有保存模型.
tensorflow转换ckpt为savermodel模型的实现
12-17
ckpt转换成SavedModel convert_ckpt_to_savermodel.py import tensorflow as tf import sys trained_checkpoint_prefix = sys.argv[1] export_dir = sys.argv[2] graph = tf.Graph() config=tf.ConfigProto(allow_...
Python在使用efficientnet_lite中出现OSError: SavedModel file does not exist at:
Edgar的博客
05-02 2060
将 path/to/your/local/efficientnet_lite0 替换为你解压模型文件的目录路径。这将从本地文件系统加载预训练的 EfficientNet-Lite 模型，而不是从 TensorFlow Hub 下载。这个错误表明 TensorFlow Hub 试图从临时文件夹加载预训练的 EfficientNet-Lite 模型，但在该文件夹中找不到模型文件。注意：将 path/to/your/cache/directory 替换为你希望存储模型缓存的目录路径。确保该目录是可写的。
ModelCheckpoint自动保存模型
种一棵树最好的时间是十年前，其次是现在
02-14 4614
-- coding: utf-8 -- import tensorflow as tf import json import tensorflow.keras.models from tensorflow.keras.callbacks import * #这是独立的包 import tensorflow.keras mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train
ModelCheckpoint和自定义回调函数（on_epoch_end）
qq_43950348的博客
08-07 4036
ModelCheckpoint和自定义回调函数（on_epoch_end）区别 根据keras中文文档ModelCheckpoint的作用是：在每个训练期之后保存模型。 keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1) filepath 可以包括命名格式选项，可以由 epo
Keras框架下的保存模型和加载模型
kyle1314608的博客
07-19 572
在Keras框架下训练深度学习模型时，一般思路是在训练环境下训练出模型，然后拿训练好的模型（即保存模型相应信息的文件）到生产环境下去部署。在训练过程中我们可能会遇到以下情况： 需要运行很长时间的程序在迭代到中间某一代时出现意外；人为地想停止训练过程，也许是为了用测试数据测试模型，然后从上一个检查点继续训练模型；想通过损失函数和评估指标，在每次训练过程中保存模型的最佳版本。 ...
ckpt模型转换为tf serving的saved model格式
u012433049的博客
03-20 2569
最近这段时间又开始在弄部署问题，使用的是Google的Tensorflow serving框架，使用的环境是Ubuntu16.0.4+docker+tensorflow serving。如果需要知道这个框架怎么搭建，可以看我之前的博客https://blog.csdn.net/u012433049/article/details/88972850；模型部署测试https://blog.csdn.n...
将模型参数打印出来——checkpoint模型、pb模型及其savemodel格式模型
Airstudy的博客
05-09 1669
背景 有时候我们需要探查模型参数，或者在调用模型提示参数错误时，也需要查看模型参数来定位问题，以下是针对不同存储格式的模型，对参数做读取操作 checkpoint模型 #!/usr/bin/env python # -*- coding: UTF-8 -*- import tensorflow as tf from tensorflow.python import pywrap_tensorflow def show_ckp_params(): model_dir = "./output/cho
ModelCheckpoint（）各参数含义及模型保存载入
m0_45373271的博客
08-20 3467
from keras.callbacks import Callback from keras.callbacks import ModelCheckpoint Keras中使用ModelCheckpoint对训练完成的模型进行保存及载入 Keras函数——keras.callbacks.ModelCheckpoint()各参数解释及模型的训练
什么是Checkpoint？
热门推荐
Flemington7的博客
05-18 2万+
在机器学习和深度学习中，checkpoint（检查点）是指在模型训练过程中保存的模型状态。这些检查点通常包括模型的参数（权重和偏置）、优化器状态和其他相关的训练信息。通过保存检查点，您可以在训练过程中定期保存模型的当前状态，以便在需要时恢复训练或用于模型评估和推理。Checkpoint 是机器学习和深度学习训练过程中的重要工具。它可以防止数据丢失，帮助调试和优化模型，并在模型评估和推理中发挥重要作用。通过定期保存检查点，您可以在训练过程中随时恢复模型状态，继续训练或进行推理。
checkpoint存的是参数还是模型?
vivi_cin的博客
01-12 1218
在深度学习中，术语 "checkpoint" 通常用来指代在训练过程中保存的模型参数的一种形式。模型参数是深度学习模型中学到的权重和偏置等参数，它们定义了模型的状态。当你在训练深度学习模型时，你可能会定期保存模型的参数，以便在需要时能够恢复训练或者用于推断。这些保存的参数通常被称为 checkpoint。当你加载一个 checkpoint 时，你可以将这些参数设置到模型中，使模型恢复到之前保存的状态。一个 checkpoint 文件通常包含了模型中所有的。你的模型架构与保存时相同，以便能够正确地加载参数。
ModelCheckpoint详解
you 是 mine
10-14 2万+
keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1) 作用 该回调函数将在每个epoch后保存模型到filepath 参数 **filename：**字符串，保存模型的
【DeepSpeed】模型检查点（Model Checkpointing）：保存和恢复模型状态
最新发布
彬彬侠的博客
04-16 1950
模型检查点（Model Checkpointing）是指在训练过程中定期保存模型参数、优化器状态和训练状态，以便在训练中断（如硬件故障）或需要恢复时继续训练。DeepSpeed 提供高效的模型检查点机制，特别针对分布式训练和大规模模型优化。保存内容：模型参数（weights），优化器状态（如 Adam 的动量和方差），学习率调度器状态，训练元数据（如当前 epoch、step）。分布式优化：在 ZeRO（零冗余优化器）模式下，参数和优化器状态分片存储，自动收集并保存完整状态，支持将检查点保存到磁盘
SavedModel文件生成
03-27
根据引用[1]和[2]，SavedModel是结合了Frozen GraphDef和CheckPoint的格式，包含完整的模型信息，适合部署。所以，我需要解释SavedModel的结构，然后给出具体步骤。 接下来，我应该考虑用户可能使用的TensorFlow...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值