Python 持久化模块pickle和joblib

本文详细介绍了Python中对象序列化的方法,包括使用pickle和cPickle模块将对象转换为可存储或传输的形式,以及利用joblib库高效保存大数据集中的机器学习模型。通过实例演示了如何将对象保存为字符串或文件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在程序运行的过程中,所有的变量都是在内存中,有时候希望将对象存储下来。我们把对象从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling。

pickle

Python提供两个模块来实现序列化:cPicklepickle。这两个模块功能是一样的,区别在于cPickle是C语言写的,速度快,pickle是纯Python写的,速度慢。

将对象保存为字符串

import pickle
a1 = ['abc', [1, 2], {'x': 3}]
s1 = pickle.dumps(a1)
print(s1)
b'\x80\x03]q\x00(X\x03\x00\x00\x00abcq\x01]q\x02(K\x01K\x02e}q\x03X\x01\x00\x00\x00xq\x04K\x03se.'
a2 = pickle.loads(s1)
print(a2)
['abc', [1, 2], {'x': 3}]

将对象保存为文件

import pickle
a1 = ['abc', [1, 2], {'x': 3}]
with open('a1.txt', 'wb') as f:
    s1 = pickle.dump(a1, f)
with open('a1.txt', 'rb') as f:
    a2 = pickle.load(f)

joblib

joblib库是由scikit-learn外带的,常用于保存机器学习模型。对于大数据而言,joblib比pickle更加高效,但是joblib只能将对象存储在磁盘文件中,不能保存为字符串。

from sklearn.externals import joblib
a1 = ['abc', [1, 2], {'x': 3}]
joblib.dump(a1, 'a1.txt')
a2 = joblib.load('a1.txt')

 

### Python 中的数据持久化 #### 文件操作与基本数据保存 Python 提供了多种方式来实现数据的持久化存储。最基础的方法之一是利用内置函数 `open()` 来读写文件,可以将简单的字符串或结构化的对象序列化成文本形式并存入磁盘中[^2]。 对于更加复杂的数据结构如列表、字典等,则可以通过模块`json`来进行JSON格式编码解码工作;而对于二进制大对象则更适合采用`pickle`库完成序列化进程。需要注意的是,在使用`pickle`时要考虑到安全性问题,因为反序列化不受信任的数据可能存在风险[^3]。 ```python import json data = {"name": "Alice", "age": 25} with open('data.json', 'w') as f: json.dump(data, f) # 加载 JSON 数据 with open('data.json', 'r') as f: loaded_data = json.load(f) print(loaded_data) ``` #### 使用数据库进行高级持久化 当应用程序规模增大到一定程度之后,单纯依靠文件系统已经无法满足需求。此时可以选择关系型数据库(RDBMS),例如SQLite、MySQL 或 PostgreSQL 等工具配合SQLAlchemy ORM框架构建应用层面上的对象映射机制,从而简化对表记录的操作过程[^1]。 另外还有非关系型NoSQL解决方案MongoDB可供选择,尤其适用于处理海量异构数据集以及高并发场景下的快速查询请求响应。 ```sql -- 创建 SQLite 表格 CREATE TABLE users ( id INTEGER PRIMARY KEY, name TEXT NOT NULL, age INT CHECK(age >= 0 AND age <= 120), email TEXT UNIQUE ); INSERT INTO users (name, age, email) VALUES ('Bob', 30, 'bob@example.com'); SELECT * FROM users; ``` #### 模型训练成果的持久化 在机器学习领域内,经过长时间迭代优化得到的理想参数组合往往需要被妥善保管起来以便后续部署上线或是重复实验验证效果好坏。Scikit-Learn 库提供了便捷的方式——借助第三方扩展包`joblib`能够高效地把整个分类器实例连同其内部状态一同冻结下来形成`.pkl`类型的压缩文档,方便以后随时恢复调用而无需重新计算成本高昂的过程。 ```python from sklearn.externals import joblib classifer = RandomForestClassifier() model = classifer.fit(features, target) joblib.dump(model, "random_forest_model.pkl") # 后续加载已训练好的模型继续预测新的样本点类别归属情况 restored_classifier = joblib.load("random_forest_model.pkl") predictions = restored_classifier.predict([[5.9, 3., 5.1, 1.8]]) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值