模型的保存和加载（pickle）

最新推荐文章于 2025-09-12 21:51:42 发布
原创 最新推荐文章于 2025-09-12 21:51:42 发布 · 2.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文详细介绍了如何使用pickle模块保存和加载机器学习模型，避免重复训练，提高效率。通过具体案例展示了线性回归模型的保存过程及加载后进行预测的步骤。

模型的保存和加载

前言：

模型训练是一个耗时的过程，一个优秀的机器学习是非常宝贵的。可以模型保存到磁盘中，也可以在需要使用的时候从磁盘中重新加载模型即可。不需要重新训练。

模型保存和加载相关API：

import pickle
pickle.dump(内存对象, 磁盘文件) # 保存模型
model = pickle.load(磁盘文件)  # 加载模型

案例：把训练好的模型保存到磁盘中。

注：这里的训练数据就是一些数据而已下面是txt文档里面的截图，这里的内容手动放入到数组当中也可以
在这里插入图片描述

import numpy as np
import sklearn.linear_model as lm
import pickle
# 采集数据(这里我是从文件中读取的数据，也可以手动输入一组数字)
x, y = np.loadtxt('../ml_data/single.txt', delimiter=',', usecols=(0,1), unpack=True)
# 讲x改变为n行一列
x = x.reshape(-1, 1)
# 创建模型
model = lm.LinearRegression()
# 训练模型
model.fit(x,y)
with open('linear.pkl','wb') as f:
    pickle.dump(model,f)
    print('dump sucess')

案例： 加载训练好的模型进行线性回归线的绘制

import numpy as np
import pickle
import matplotlib.pyplot as mp
# 采集数据
x, y = np.loadtxt('../ml_data/single.txt', delimiter=',', usecols=(0,1), unpack=True)
x = x.reshape(-1, 1)
with open('linear.pkl','rb') as f:
    model = pickle.load(f)
# 进行预测
pred_y = model.predict(x)
mp.figure('Linear Regression', facecolor='lightgray')
mp.title('Linear Regression', fontsize=20)
mp.xlabel('x', fontsize=14)
mp.ylabel('y', fontsize=14)
mp.tick_params(labelsize=10)
mp.grid(linestyle=':')
mp.scatter(x, y, c='dodgerblue', alpha=0.75, s=60, label='Sample')
mp.plot(x, pred_y, c='orangered', label='Regression')
mp.legend()
mp.show()

在这里插入图片描述

Python使用pickle保存和加载机器学习模型
ByteBuster的博客
09-09 457
因此，为了避免每次使用模型时都需要重新训练，我们可以将已经训练好的模型保存到磁盘上，以便后续可以快速加载和使用。Python的pickle模块提供了一种方便的方式来实现这一目的，它可以将Python对象序列化为字节流，然后将其保存到文件中，并在需要时重新加载。通过以上步骤，我们成功地使用pickle保存了机器学习模型，并在需要时重新加载和使用了它。需要注意的是，pickle保存的模型文件包含了完整的模型参数和状态，因此要确保保存的模型文件不会被恶意篡改或传播给未经授权的人员。然后，我们使用加载的模型对。
如何使用pickle将机器学习模型保存和加载
qq_39605374的博客
08-10 671
在我们的情景中，这些对象就是训练好的机器学习模型。方法从名为“model.pkl”的文件中加载出保存的模型对象，接着使用我们训练时相同的数据集进行测试，输出结果为“[2]”，表示该测试数据所属类别为第3类。现在，我们已经完成了一个机器学习模型的训练，接下来我们将对这个模型进行保存和加载操作。方法将模型对象dt保存到名为“model.pkl”的文件中，其中“wb”表示以二进制方式打开，以便后续存储模型。综上所述，我们可以通过pickle序列化模块，轻松地将机器学习模型进行保存和加载操作，以便后续使用。
用pickle保存机器学习模型
weixin_30732825的博客
07-15 1164
在机器学习中，当确定好一个模型后，我们需要将它保存下来，这样当新数据出现时，我们能够调出这个模型来对新数据进行预测。同时这些新数据将被作为历史数据保存起来，经过一段周期后，使用更新的历史数据再次训练，得到更新的模型。 如果模型的流转都在python内部，那么可以使用内置的pickle库来完成模型的存储和调取。 什么是pickle？pickle是负责将python对象序列化...
【AI】pickle模块常见用途
最新发布
weixin_52613525的博客
09-12 828
Python的pickle模块主要用于对象的序列化和反序列化，能够将Python对象保存到文件并在需要时还原。其主要用途包括：保存机器学习模型、预处理工具、大数据处理结果、实验配置和跨进程传递对象。pickle支持几乎所有Python对象，但存在安全性风险、仅限Python使用、版本兼容性等问题。相比JSON，pickle能处理更复杂的数据类型但不可跨语言。建议用于模型保存和数据处理，但避免用于生产环境部署和加载未知文件。pickle就像Python的"时光机"，能冻结并还原对象状态。
利用pickle保存模型
vincent_duan的专栏
11-11 3858
当我们训练完成一个模型后，我们需要将模型保存起来，以便下次方便使用。 pickle pickle是python自带的保存模型的方法。 保存模型： from sklearn import svm from sklearn import datasets import pickle clf = svm.SVC() # 创建一个SVC模型 iris = datasets.load_iris() X, y = iris.data, iris.target clf.fit(X, y) # 训练模型 # 保存模型
Python 基于pickle的 保存和加载训练后的模型
Chandler_river的博客
10-05 1840
Python 保存和加载训练后的模型
Python 机器学习 模型保存和加载
weixin_42098295的博客
02-16 2113
Python 机器学习中，模型保存和加载是两个非常重要的操作。模型保存可以将训练好的模型保存到文件，以便以后使用。模型加载可以将保存的文件加载到内存，以便进行预测或评估。最常用保存和加模型的库包括pickle和joblib，另外在使用特定的机器学习库，如scikit-learn、TensorFlow或PyTorch时，它们也提供了自己的保存和加载机制。
sklearn模型保存与加载
诗酒趁年华。
04-27 898
机器学习模型保存与加载 id_to_cat是类别编号与名词的映射字典： {0: '出费原因查询', 1: '费用未到账', 2: '账单核实'} X_test是同训练集一样预处理得到的特征 一、pickle形式 1、保存为pickle import pickle # 保存Model(注:save文件夹要预先建立，否则会报错) with open('/order_analysis/model/svc.pickle', 'wb') as f: pickle.dump(model, f) 2、读取pickle
如何保存和加载机器学习模型
绎岚科技的博客
06-19 687
寻找一个准确的机器学习模型并不是项目结束的时候。在本文中，我们将发现如何使用scikit-learn保存和加载机器学习模型。这让我们可以把模型保存到文件中，并在以后加载它来进行预测。
python：pickle和训练模型保存、加载
hunk954的博客
11-29 4516
在学习机器学习过程中使用python的技巧 1. Python之pickle的用法（用于序列化和反序列化数据） 该pickle模块实现了二进制协议，用于对Python对象结构进行序列化和反序列化Pickling是将Python对象层次结构转换为字节流的过程，而 “ unpickling”是逆运算，将字节流（来自二进制文件或类似字节的对象）转换回对象层次结构的过程。 python2.7导入i...
sklearn基于pickle / joblib 的模型保存及加载
酒酿小圆子呀～
04-06 6386
sklearn（scikit-learn）模型持久化有两种方式： Python的内置模块pickle scikit-learn内部的joblib 使用可以将模型保存在scikit-learn中： 1. pickle 模型保存及加载 from sklearn import svm from sklearn import datasets model_xgb = svm.SVC() X, y= datasets.load_iris(return_X_y=True) model_xgb.fit(X, y)
机器学习模型的保存与加载：使用pickle和joblib
FdmPatch的博客
09-17 427
在本文中，我们介绍了使用pickle和Scikit-learn的joblib来保存和加载机器学习模型的方法。使用pickle是一种简单的方法，可以保存任何Python对象，但可能会导致较大的文件和较慢的加载速度。在机器学习中，模型的保存和加载是非常重要的步骤。无论你选择使用哪种方法，保存和加载模型是在机器学习工作流程中非常重要的环节，它使我们能够方便地存储和重用训练好的模型，从而节省时间和计算资源。希望本文对你有所帮助！然而，它的缺点是保存的模型文件可能会比较大，并且加载速度可能较慢。
机器学习之保存与加载.pickle模型文件
weixin_30865427的博客
07-08 1116
import pickle from sklearn.externals import joblib from sklearn.svm import SVC from sklearn import datasets #定义一个分类器 svm = SVC() iris = datasets.load_iris() X = iris.data y = iris.targe...
两种主要的模型保存和调用方法：pickle和joblib
qq_43629945的博客
03-14 3014
pickle 和 joblib 保存和调用模型
python中的pickle模型
wugou2014的博客
02-11 366
python中pickle操作
【Python机器学习系列】sklearn机器学习模型的保存---pickle法
数据杂坛
03-26 1062
sklearn机器学习模型的保存---pickle法
如何将Python训练好的模型保存下来（可使用or继续训练）
热门推荐
qq_22841387的博客
04-17 2万+
Python提供了许多机器学习框架，例如Scikit-learn、TensorFlow和PyTorch。这些框架是使用Python编写的，可以方便地训练模型。但是，模型训练是一项昂贵的任务，需要大量的计算资源和时间。一旦模型训练完成，将其保存以便以后使用是非常重要的。
Python训练的机器学习模型【保存】 和【加载】的方法？
总结复盘，才能不迷失自己！
04-28 1551
可以使用pickle将训练好的模型保存到磁盘上，以备将来使用。现有的机器学习模型保存方法有三种，分别为使用pickle(通用)、joblib(大型模型)、HDF5（存储深度学习模型的权重）在这个例子中，我们首先定义了模型的架构，然后使用model.load_weights()函数加载之前保存的模型权重，并在新数据上进行预测。使用ONNX，您可以将模型从一个框架转换为另一个框架，或者在不同平台上使用模型。HDF5是一种用于存储大型科学数据集的文件格式，常用于存储深度学习模型的权重。
【Python】Python语言学习：pip工具使用知识，模型保存pickle，PDF与docx相互转换处理...
fengdu78的博客
02-10 329
2022年第01周。这一周的Python语言学习，记录如下。01pip工具使用知识1 pip是什么？pip是一个用Python写的用于安装和管理包的包管理系统。它连接一个叫做Python ...
jax保存和加载模型
08-26
<think>我们之前讨论了PyTorch的模型保存和加载，现在用户询问的是JAX框架下的模型保存和加载。根据引用内容，用户提供的引用中提到了JAX以及相关工具（如Paxml），但并没有直接给出JAX保存模型的示例。因此，我们需要根据JAX的常见实践来回答。 在JAX中，模型参数通常存储在`jax.Array`或`jax.numpy.Array`中，并且整个模型的状态（包括参数、优化器状态等）通常使用一个字典或类似结构来保存。JAX本身不提供像PyTorch那样的内置模型保存和加载函数，但我们可以使用`flax`（一个流行的JAX神经网络库）或`jax.tree_util`结合序列化库（如`pickle`）来实现。 以下是一个基于Flax的模型保存和加载的指南（因为Flax是JAX生态中最常用的神经网络库之一）： ### 一、使用Flax保存和加载模型 #### 1. 保存模型 在Flax中，我们可以使用`flax.serialization.to_bytes`将模型状态（包括参数）转换为字节，然后保存到文件。也可以使用`flax.serialization.to_state_dict`获取状态字典，再使用其他方式（如`pickle`）保存。 ```python import flax from flax.training import checkpoints # 假设我们有一个训练好的模型`model`和它的参数`params` # 创建TrainState（包含参数和优化器状态等） state = train_state.TrainState.create( apply_fn=model.apply, params=params, tx=optimizer ) # 保存检查点（包括参数和优化器状态） checkpoints.save_checkpoint( ckpt_dir='./checkpoints', target=state, step=step, # 当前训练步数 prefix='my_model_', keep=3 # 保留最近的3个检查点 ) ``` #### 2. 加载模型 加载时，我们使用`checkpoints.restore_checkpoint`来恢复检查点。 ```python # 首先创建一个与原始状态结构相同的空状态（用于加载） state = train_state.TrainState.create( apply_fn=model.apply, params=initial_params, # 初始参数（结构相同） tx=optimizer ) # 加载检查点 state = checkpoints.restore_checkpoint( ckpt_dir='./checkpoints', target=state, prefix='my_model_' ) ``` ### 二、使用纯JAX（无Flax）保存和加载 如果不使用Flax，我们可以直接使用JAX的树结构和序列化工具。 #### 1. 保存参数 ```python import jax import pickle # 假设params是一个包含模型参数的字典（或任意树结构） with open('params.pkl', 'wb') as f: pickle.dump(params, f) ``` #### 2. 加载参数 ```python with open('params.pkl', 'rb') as f: params = pickle.load(f) ``` 注意：这种方法简单，但可能在不同版本的JAX或Python之间不兼容。另外，对于大型参数，使用`pickle`可能不是最高效的方式。 ### 三、使用`orbax`（推荐） Google推荐使用`orbax`库（属于`jax`生态系统的一部分）进行更高效的检查点保存和加载。特别是在分布式训练中，`orbax`可以处理并行保存和加载。 ```python from orbax import checkpoint # 保存 checkpointer = checkpoint.PyTreeCheckpointer() checkpointer.save('./checkpoints/orbax', state) # 加载 restored = checkpointer.restore('./checkpoints/orbax') ``` ### 四、关键注意事项 1. **设备放置**：加载的参数可能被绑定到特定的设备（如GPU）。在加载后，可以使用`jax.device_put`将参数移动到当前设备。 2. **版本兼容性**：与PyTorch类似，不同版本的JAX/Flax可能不兼容。建议记录版本信息。 3. **模型结构**：加载参数时，必须有一个与保存时相同结构的模型（或状态）对象。 ### 五、完整示例（使用Flax） ```python import flax from flax import linen as nn from flax.training import train_state import optax import jax import jax.numpy as jnp # 定义模型 class MLP(nn.Module): @nn.compact def __call__(self, x): x = nn.Dense(128)(x) x = nn.relu(x) x = nn.Dense(10)(x) return x # 初始化模型 model = MLP() key = jax.random.PRNGKey(0) dummy = jnp.ones((1, 784)) params = model.init(key, dummy) # 创建TrainState tx = optax.adam(1e-3) state = train_state.TrainState.create( apply_fn=model.apply, params=params, tx=tx ) # 保存 checkpoints.save_checkpoint( ckpt_dir='./ckpt', target=state, step=0, prefix='model_', keep=3 ) # 加载：先创建一个空状态（结构相同） state_restored = train_state.TrainState.create( apply_fn=model.apply, params=model.init(key, dummy), # 初始参数 tx=tx ) state_restored = checkpoints.restore_checkpoint( ckpt_dir='./ckpt', target=state_restored, prefix='model_' ) ``` ### 六、数学原理 在JAX中，模型参数被组织为树状结构（pytree），其中每个叶子节点是一个`jax.Array`。保存过程实质上是将这个树结构序列化为字节流。在加载时，我们将字节流反序列化回相同的树结构。前向传播计算可以表示为： $$ \mathbf{y} = f(\mathbf{x}; \theta) $$ 其中 $\theta$ 是模型参数，$f$ 是模型的前向传播函数。 --- §§相关问题§§ 1. JAX中如何保存和加载分布式训练的模型？ 2. 使用Flax时，如何保存和加载额外的自定义状态（如批归一化统计量）？ 3. 在JAX中，如何将模型参数从GPU移动到CPU进行保存？ 4. 如何在不重新初始化模型的情况下加载部分参数？</think>### JAX 模型保存与加载指南 JAX 使用 `flax` 库（官方神经网络库）和 `orbax`（高效检查点库）实现模型保存与加载。以下是核心方法： --- #### 一、保存模型参数（推荐） ```python import flax from flax.training import orbax_utils import orbax.checkpoint as ocp # 保存模型参数 checkpointer = ocp.PyTreeCheckpointer() save_args = orbax_utils.save_args_from_target(params) # params 为模型参数字典 checkpointer.save('model_dir', params, save_args=save_args) ``` - **优点**： - 文件小（仅保存参数，不包含模型结构） - 兼容不同硬件（TPU/GPU/CPU） - 支持分布式训练检查点[^3] --- #### 二、加载模型参数 ```python # 加载到相同结构的模型 checkpointer = ocp.PyTreeCheckpointer() params = checkpointer.restore('model_dir') ``` - **设备映射**： ```python # 强制加载到 CPU params = checkpointer.restore('model_dir', device=jax.devices('cpu')[0]) ``` --- #### 三、保存完整训练状态（含优化器） ```python state = { 'params': params, 'optimizer': optimizer_state, 'epoch': 15 } checkpointer = ocp.PyTreeCheckpointer() save_args = orbax_utils.save_args_from_target(state) checkpointer.save('full_state', state, save_args=save_args) ``` --- #### 四、恢复训练状态 ```python # 定义空状态结构模板 state_template = { 'params': init_params, # 初始化的参数字典 'optimizer': init_optimizer_state, 'epoch': 0 } # 加载到模板 checkpointer = ocp.PyTreeCheckpointer() full_state = checkpointer.restore('full_state', item=state_template) ``` --- #### 五、关键注意事项 1. **模型结构分离** JAX 不保存模型结构，需单独维护模型定义代码[^2]： ```python class MLP(nn.Module): @nn.compact def __call__(self, x): x = nn.Dense(128)(x) return nn.Dense(10)(x) ``` 2. **分布式训练保存** 使用 `jax.distributed.initialize()` 确保多设备参数正确聚合： ```python from jax.sharding import Mesh, PartitionSpec sharding = jax.sharding.NamedSharding(Mesh(...), PartitionSpec(...)) checkpointer.save(..., shardings={'params': sharding}) ``` 3. **数学原理** 参数保存为树形结构（pytree），每个叶子节点是 $W \in \mathbb{R}^{m \times n}$ 权重矩阵。前向传播计算： $$ \mathbf{y} = \phi(\mathbf{x}W + \mathbf{b}) $$ 其中 $\phi$ 为激活函数（如 ReLU）。 --- #### 六、完整示例 ```python import jax import flax.linen as nn from flax.training import orbax_utils import orbax.checkpoint as ocp # 1. 定义模型 class CNN(nn.Module): @nn.compact def __call__(self, x): x = nn.Conv(32, (3,3))(x) x = nn.relu(x) return nn.Dense(10)(x) # 2. 初始化 model = CNN() params = model.init(jax.random.PRNGKey(0), jnp.ones([1,28,28,1])) # 3. 保存 checkpointer = ocp.PyTreeCheckpointer() save_args = orbax_utils.save_args_from_target(params) checkpointer.save('cnn_params', params, save_args=save_args) # 4. 加载 new_params = checkpointer.restore('cnn_params') ``` > **最佳实践**：生产环境使用 `orbax` 保存参数，研究场景可结合 `flax.serialization` 快速调试[^3][^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值