python 序列化数据:pickle与json ,dumps与loads,解决can't pickle _thread.lock objects

本文介绍了Python中两种常用的数据序列化方式:pickle与json。详细解释了它们的特点与使用场景,并通过示例展示了如何序列化与反序列化列表及字典等数据结构。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

python 序列化数据:pickle与json

pickle 只能在python中用python文件间序列化,实现了两个python 内存数据的交互(可序列化任何对象(类,列表))
json 在任何软件间可以在内存数据之间的交互,只能序列化常规的对象(列表 ,字典等)

#!usr/bin/env python
#_*_ coding:utf-8 _*_

import chardet
import pickle
li=['a','hello','world','ok']
print('pickle.dumps结果')
print(pickle.dumps(li))  #把对象序列释放成str
print(type(pickle.dumps(li)))
#dumps反序列化
print('pickle.loads结果')
dumps=pickle.dumps(li)  #注意dumps与dump(文件)
print(pickle.loads(dumps))   #these default to 'ASCII' and 'strict'

#dump反序列化 闭含过文件形式
print('pickle.dump与pickle.load结果')
dumps=pickle.dump(li,open('dump.txt','wb+'))
print(pickle.load(open('dump.txt','rb')))


#pickle 只能在python中用python文件间序列化,实现了两个python 内存数据的交互(可序列化任何对象(类,列表))
#json 在任何软件间可以在内存数据之间的交互,只能序列化常规的对象(列表 ,字典等)


import json
#用法同pickle,dumps与loads,dump与load
dict={'name':'zhongguo','age':'1949'}
print('json案例展示')
print(json.dumps(dict))  #str  #将dictjson序列化成str
print(type(json.dumps(dict)))
print(json.loads(json.dumps(dict)))
print(type(json.loads(json.dumps(dict))))#将json.dumps(dict)序列化回dict

在这里插入图片描述

更新时间:20190107 解决pickle 报错TypeError: can’t pickle _thread.lock objects

查看原因后发现:模型调用了4个threads ,也就是说4个小线程导致报错,没有找到设置参数,在这里插入图片描述

后来查看发现, 进程池内部处理使用了pickle模块(用于python特有的类型和python的数据类型间进行转换)中的dump(obj, file, protocol=None,)方法对参数进行了封装处理.

于是最后使用使用joblib解决,
joblib更适合大数据量的模型,且只能往硬盘存储,不能往字符串存储

from sklearn.externals import joblib
joblib.dump(clf,'filename.pkl')
clf=joblib.load('filename.pkl')
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT界的小小小学生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值