Python实现模型持久化和加载方式

pytorch模型的保存与加载 PyTorch提供了三种种方式来保存和加载模型,在这三种方式中,加载模型的代码和保存模型的代码必须相匹配,才能保证模型的加载成功。通常情况下,使用第一种方式(保存和加载模型状态字典)更加常见,因为它更轻量且不依赖于特定的模型类。 阅读详情

1.JSON(JavaScript Object Notation)格式

import json
data = [{'a':1, 'b':2, 'c':3, 'd':4, 'e':5}]
print(data)
print(type(data))

在这里插入图片描述

data_dumps = json.dumps(data) #把python对象编码成json字符串
print(data_dumps)
print(type(data_dumps))

在这里插入图片描述

f = open('data.json', 'w')
f.write(data_dumps)
f.close()
f = open('data.json', 'r')
data = f.readlines()
print(type(data[0])) #data是一个字符串
json_loads = json.loads(data[0]) #将json字符串解码为python对象
print(type(json_loads))
print(json_loads)

在这里插入图片描述

2.pickle模块

pickle 提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。pickle 模块只能在 Python 中使用,Python 中几乎所有的数据类型(列表、字典、集合、类等)都可以用 pickle 来序列化。pickle 序列化后的数据,可读性差,一般无法识别。

import pickle
data = [{'a':1, 'b':2, 'c':3, 'd':4, 'e':5}]

with open('data.pkl', 'wb') as f:
    pickle.dump(data, f)
    
#pickle.dump(obj, file[, protocol]):序列化对象,并将结果数据流写入到文件对象中。参数 protocol 是序列化模式,默认值为0,表示以文本的形式序列化。protocol 的值还可以是1或2,表示以二进制的形式序列化。

with open('data.pkl', 'rb') as f:
    model = pickle.load(f)
    
#pickle.load(file):反序列化对象。将文件中的数据解析为一个 Python 对象。
    

3.sklearn中的joblib模块

from sklearn.externals import joblib
joblib.dumb(model, model_path) #模型保存 joblib.load(model_path) #模型加载

Flask和Bottle微服务框架

1.Bottle Bottle 是一个非常小巧但高效的微型 Python Web 框架,它被设计为仅仅只有一个文件的 Python 模块,并且除 Python 标准库外,它不依赖于任何第三方模块。

Bottle 本身主要包含以下四个模块,依靠它们便可快速开发微 Web 服务:

路由(Routing):将请求映射到函数,可以创建十分优雅的 URL; 模板(Templates):可以快速构建 Python
内置模板引擎,同时还支持 Mako、Jinja2、Cheetah 等第三方模板引擎; 工具集(Utilites):用于快速读取 form
数据,上传文件,访问 Cookies,Headers 或者其它 HTTP 相关的 metadata; 服务器(Server):内置 HTTP
开发服务器,并且支持 paste、fapws3、 bjoern、Google App Engine、Cherrypy 或者其它任何 WSGI
HTTP 服务器。

2.Flask Flask 也是一个 Python 编写的 Web 微框架,可以让我们使用 Python 语言快速实现一个网站或 Web 服务。并使用方式和 Bottle 相似,Flask 依赖 Jinja2 模板和 Werkzeug WSGI 服务。Werkzeug 本质是
Socket 服务端,其用于接收 HTTP 请求并对请求进行预处理,然后触发 Flask 框架,开发人员基于 Flask
框架提供的功能对请求进行相应的处理,并返回给用户,如果返回给用户的内容比较复杂时,需要借助 Jinja2
模板来实现对模板的处理,即将模板和数据进行渲染,将渲染后的字符串返回给用户浏览器。

Bottle 和 Flask 在使用上相似,而且 Flask 的文档资料更全,发布的服务更稳定,因此下面重点以 Flask
为例,来说明模型的微服务发布过程。

from flask import Flask
app = Flask(__name__)

@app.route('/')
def hello_word():
    return 'Hello World!'

if __name__ == '__main__':
    app.run()

在这里插入图片描述

修改服务对应的 IP 地址和端口

#app.run(host='192.168.31.19',port=8088)
# joblib.dump(model,"C://Users//18703//Desktop//model.pkl") 
    from sklearn.externals import joblib
    import pandas as pd
    model_path = "C://Users//18703//Desktop//classification.pkl"
    model = joblib.load(model_path)
    sen =[[5.1, 3.5, 1.4, 0.2]]
    print(sen)
    print(model.predict(sen))

在这里插入图片描述

#模型和浏览器进行交互
from sklearn.externals import joblib
from flask import Flask,request
app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello World!'

@app.route('/predict/<sen>') #增加预测接口,重新定义predict函数
def predict(sen):
    result = model.predict(sen)
    return str(result)

if __name__ == '__main__':
    model_path = "C://Users//18703//Desktop//classification.pkl"
    model = joblib.load(model_path) #启动之前先把模型加载到内存中
    app.run(host='127.0.0.1')

在这里插入图片描述

predict([[5.1, 3.5, 1.4, 0.2]])

在这里插入图片描述

Python 机器学习 模型保存和加载 Python 机器学习中,模型保存和加载是两个非常重要的操作。模型保存可以将训练好的模型保存到文件,以便以后使用。模型加载可以将保存的文件加载到内存,以便进行预测或评估。最常用保存和加模型的库包括pickle和joblib,另外在使用特定的机器学习库,如scikit-learn、TensorFlow或PyTorch时,它们也提供了自己的保存和加载机制。 阅读详情

相关推荐

OpenGL 入门 11:模型加载

OpenGL 模型加载

On_The_Way 822

python中保存与加载模型

在有些时候一个模型的训练时间可能很长(动辄几个小时),因此我们可以把训练好的模型保存好,在使用的时候调用就好了。这里介绍一种很简单的保存、加载方式。

L1234X的博客 7320

Sklearn 机器学习 房价预估 模型的保存和加载

在 Sklearn 中实现机器学习模型保存与加载的方法。

Kant2048的博客 1273

pytorch模型保存与加载总结

pytorch模型保存与加载方式、打包保存tar、多卡训练遇到的问题、torch.jit、加载预训练模型、保存模型再加载精度损失

蜗牛博客 1万+

Python机器学习实战:机器学习模型的持久化与重新加载

Python机器学习实战:机器学习模型的持久化与重新加载 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM Python

AI天才研究院 1483

模型持久化方法(pickle和PMML)

pickle方式 pickle方式应用场景:在python环境中训练模型,然后使用pickle将模型持久化为一个模型文件,然后就可以在python环境加载持久化后的模型文件对新数据进行预测。 1、安装pickle模块 pip install pickle 2、代码示例 pickle_demo.py模块完成了模型的训练,持久化和模型加载代码如下: """ pickle方式模型持久...

L 2129

【推荐收藏】保存和加载机器学习模型的这两个方法不错

找到好的机器学习模型只是项目的起点。在本文中,我将介绍如何使用 scikit-learn 在 Python 中保存和加载机器学习模型,这允许你将模型保存到文件并在以后加载它进行预测。让我们开始吧。

Python学习与数据挖掘 650

从零到一:基于Rocky Linux 9的Kubernetes高可用集群部署实战

本文提供了一份基于Rocky Linux 9操作系统,从零开始部署Kubernetes高可用集群的完整实战指南。详细讲解了包括系统初始化、容器运行时配置、使用kubeadm工具进行集群初始化、节点加入以及Calico网络插件安装在内的核心步骤,并针对国内网络环境提供了镜像加速等优化方案,旨在帮助读者构建一个稳定可靠的生产级K8s环境。

weixin_29197835的博客 143

Qiskit Machine Learning模型保存与加载:SerializableModel实现持久化存储

Qiskit Machine Learning是一个基于Qiskit构建的开源库,专为在量子硬件和经典模拟器上进行大规模量子机器学习任务而设计。在实际应用中,训练好的量子机器学习模型需要进行持久化存储,以便后续的推理、部署和分享。本文将详细介绍如何使用Qiskit Machine Learning中的`SerializableModel`功能实现模型的保存与加载,帮助开发者轻松管理量子模型的生命周

gitblog_02359的博客 851

Android - 蓝牙开发

文章目录科普SIG类型制式编程Classic BluetoothBluetooth Low Energy蓝牙的UUID是什么?有什么用? 科普 https://zh.wikipedia.org/wiki/%E8%97%8D%E7%89%99 蓝牙(英语:Bluetooth),一种无线通讯技术标准,用来让固定与移动设备,在短距离间交换资料,以形成个人局域网(PAN)。其使用短波特高频(UHF)无线电波,经由 2.4 至 2.485 GHz 的 ISM(工业、科学、医疗)频段来进行通信。1994 年由电信商

qq_43323826的博客 1万+

实测对比:同步 vs 异步 DCDC,轻载时哪个更‘吵’?效率差多少?(以MP1601为例)

本文通过实测对比MP1601同步与异步DCDC在轻载工况下的噪声与效率表现,揭示异步整流在轻载时产生高频振铃的问题,而同步整流则提供更稳定的波形。测试数据显示,轻载下异步方案效率略高,但同步方案在EMI性能上优势明显,为工程选型提供重要参考。

weixin_30904593的博客 302

第5关:模型持久化

dumpModel()函数中首先需要打开local_file文件,并开启写入模式,再使用pickle模块将模型存储下来,loadModel()函数中也需要先打开local_file文件,开启读取模式,再使用pickle将local_file文件中存储的模型load至模型变量中,再使用该模型预测。当数据量很大的时候,训练一个模型需要消耗很大的时间成本,每次都重新训练模型预测是非常冗余且没有必要的,我们可以将训练模型存储下来,每当要预测新数据的时候只需加载该模型。#打开本地file文件,并开启写模式。

zxc9527z的博客 758

VC++车牌识别系统:图像处理与模式识别实战指南

计算机视觉是人工智能的重要分支,其核心原理是通过算法让计算机“看懂”图像内容。在工程实践中,图像处理与模式识别技术是实现视觉应用的基础,它们通过灰度化、边缘检测、特征提取等步骤,将原始像素转换为可理解的信息。这些技术的价值在于能够替代人眼完成自动化、高精度的识别任务,广泛应用于智能交通、安防监控和工业检测等领域。以车牌识别为例,它综合运用了图像预处理、车牌定位、字符分割和字符识别等关键技术,其中车牌定位常采用基于边缘检测和颜色特征的方法,而字符识别则涉及模板匹配或机器学习分类。在VC++开发环境中,结合Op

weixin_28465009的博客 282

python模型持久化_tensorflow的ckpt及pb模型持久化方式及转化详解

使用tensorflow训练模型的时候,模型持久化对我们来说非常重要。如果我们的模型比较复杂,需要的数据比较多,那么在模型的训练时间会耗时很长。如果在训练过程中出现了模型不可预期的错误,导致训练意外终止,那么我们将会前功尽弃。为了解决这一问题,我们可以使用模型持久化(保存为ckpt文件格式)来保存我们在训练过程中的临时数据。、如果我们训练出的模型需要提供给用户做离线预测,那么我们只需要完成前向传播...

weixin_39632698的博客 556

Vue集成天地图:从定位到交互绘图的完整实践指南

本文详细介绍了如何在Vue项目中集成天地图API,从基础配置到高级功能实现,包括定位、标点、画线等交互绘图功能。通过实战代码示例和性能优化技巧,帮助开发者快速掌握Vue与天地图的结合应用,提升地图开发效率。

weixin_29013129的博客 248

生物信息学名词解释 | K-mer (长度为k的短序列)

K-mer 何谓K-mer 所谓Kmer,即为一段长度为k的DNA片段,是由测序reads剪切一部分得到的。k为一个奇数,k=几,就为几mer。 比如:我的测序reads长度为100bp,我将这100bp打断成17bp的短片段,打断后的17bp段片段就叫17mer,可以获得(100-17+1)条k-mer序列。 Table1 k-mers for GTAGAGCTGT. k k-mers 1 G,T,A,G,A,G,C,T,G,T 3 GTA,TAG,AGA,GAG,AGC,GCT,CT

qq_50637636的博客 2万+

Transformers 训练模型持久化与推理加载全流程详解

本文介绍了HuggingFace Transformers微调模型的本地化加载方法。通用方案通过AutoModel.from_pretrained()自动加载模型结构和权重,配合分词器完成文本预处理。对于自定义模块的模型,需复用训练代码并手动加载权重。文章还说明了跨框架、分布式训练和大模型分片的特殊处理方式,强调标准化加载是模型部署的主流方案。

开发这点事儿 | 半导体智能制造与工业软件实战分享 1055

仿真学习系列(四十二):Sigrity仿真之走线阻抗和耦合检查

在高速电路设计中,走线的阻抗和信号线之间的耦合是影响信号完整性的重要因素。设计中可能会出现多种情况,导致阻抗变化或不匹配,例如线宽的变化、跨层分割等。传统的人工检查方法常常不够高效且易忽视细节。借助仿真软件,可以快速定位问题区域,并进行精确分析,从而有效避免或减少信号反射和串扰带来的影响。

案例文章,高速信号 425

pytorch实现模型的保存和加载

pytorch保存模型 加载模型

Study study is cndb gjb dx. 3363

rk3568 点亮双LVDS 屏

承接文章《rk3568点亮LCD(lvds)》中仅仅只能使用亮单LVDS;经过厂商的努力,陆续发布新补丁。目前支持双lvds显示,缺憾是需要自己额外移植相关补丁。受限于通信频率和VOP编码能力,支持最大分辨仍然是1920x1080、60fps。

weixin_35723192的博客 3008

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

python模型持久化_Tensorflow笔记之Tensorflow模型持久化

为了让训练结果可以复用,需要将训练得到的神经网络模型持久化。Tensorflow提供了一个非常简单的API来保存和还原一个神经网络,这个API就是tf.train.Saver类,下面代码给出了保存Tensorflow计算图的方法,如下所示import tensorflow as tf#声明两个变量并计算它们的和。v1=tf.Variable(tf.constant(1.0,shape=[1]),n...

weixin_39853863的博客 168

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

上一篇: python实现ppt内容输出为word形式
下一篇: 牛客SQL—大厂(七大场景)面试真题
rubyw
博客等级 码龄7年 1528粉丝 234原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rubyw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值