pickle 在python 2和python 3中兼容性问题

解决python3读取Python2存储的pickle文件问题 我在使用python3.5处理一个序列化文件xxx.pk,不过这个.pk文件是我在python2.7里面存储的,当我用python3读取的时候就会报如下的错误。 import pickle picklefile=open('2ohsumed_wmd_d.pk','rb') data=pickle.load(picklefile) print (data) UnicodeDecodeError: 'ascii' codec can't decode byte 0xa0 in position 11: ordinal not in range(128) 解决办法: import pickle 立即下载

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!

                       
 

以下的演示均在python 3环境下进行。

我们以一个简单的文件打开和文件读为例说明,pickle读文件时可能存在的编码问题:

import gzipimport pickle# 使用with结构避免手动的文件关闭操作with gzip.open('./mnist.pkl.gz', 'rb') as f:    training_data, validation_data, test_data = pickle.load(f)
  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

如果沿用python 2.x的做法,如上所示,而不做任何编码格式上的设置,直接运行,编译器会提示如下错误:

UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in range(128)
  
  • 1

0. 一种 import 的兼容性解决思路

try:    import cPickle as pickleexcept ImportError:    import pickle
  
  • 1
  • 2
  • 3
  • 4

1. 解决方案

一种可行的解决方案是:

with gzip.open('./mnist.pkl.gz', 'rb') as f:    u = pickle._Unpickler(f)    u.encoding = 'latin1'    training_data, validation_data, test_data = u.load()
  
  • 1
  • 2
  • 3
  • 4

或者更为精炼地:

with gzip.open('./mnist.pkl.gz', 'rb') as f:    training_data, validation_data, test_data = pickle.load(f, encoding='latin1')
  
  • 1
  • 2

references

[1] <Pickle incompatability of numpy arrays between Python 2 and 3>

           

给我老师的人工智能教程打call!http://blog.youkuaiyun.com/jiangjunshow
这里写图片描述
西门子TM PosInput1模块SSI编码器配置与速度测量实战 本文详细介绍了西门子TM PosInput1模块配置SSI绝对值编码器的实战步骤,涵盖硬件组态、工艺对象配置、编程实现与速度测量优化。重点解析了高分辨率编码器的数值处理技巧和常见调试问题,帮助工程师快速实现高精度位置与速度检测,提升自动化项目效率。 阅读详情

相关推荐

NSIDC海冰运动产品-速度矢量场图绘制(数据下载和处理--年、季节平均)【python/basemap】

入门级NSIDC海冰运动产品速度矢量场图绘制(数据下载和处理--年、季节平均)【python/basemap】

Mluoo的博客 2960

Python持久化管理pickle模块 笔记

转自:http://blog.youkuaiyun.com/jq0123/article/details/4319589因为原来是中英对照的,为了自己复习起来方便,把英文都删了,还会加自己的理解Programming Python, 3rd Edition 翻译 最新版本见:http://wiki.woodpecker.org.cn/moin/PP3eDPickle对象DBM键控文件(DBM keyed fi

学愈进而愈惘 6215

帆软 finereport FCRA 考试 题库+答案,共收录561题,大部分有答案

帆软 finereport FCRA 考试 题库+答案,共收录561题,大部分有答案 入门基础 11.多选题 以下方式中属于FineReport中预览模式的有( ) 分页预览、填报预览、新填报预览、数据分析、移动端预览 16.判断题 FineReport报表工具必须购买激活码后才能使用。 错误,可以免费获取激活码。 29.单选题 FineReport是一款利用( )语言开发的报表工具。java 41.多选题 访问帮助文档的方式有哪些?设计器中社区菜单下-帮助文档;直接访问http://help.finere

qq_37485720的博客 2万+

Python pickle模块学习(超级详细)

Python pickle模块学习

快递小可的博客 17万+

模仿学习算法——ATC / Diffusion Policy

最近又开始接触具身智能相关的一些工作,本文主要介绍三篇较为基础的用来做模仿学习的算法,后续有空再进一步学习分享RT系列和Pi0等文章ACT算法全称为Action Chunking with Transformers,发表于《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》,该论文主要内容为如何使用低成本的硬件和模仿学习算法来实的双手操作,我们主要对算法部分进行剖析ACT算法的网络结构如下图所示,使用的采用的是生成式模型VA

weixin_44580210的博客 5265

锐捷路由器DNS Proxy保姆级配置教程:从零到实战,手把手教你搞定内网域名解析

本文提供锐捷路由器DNS Proxy功能的详细配置教程,从基础环境搭建到实战测试,手把手教你实现内网域名解析。涵盖上游DNS设置、内网域名映射、故障排查等关键步骤,帮助网络管理员快速解决内网访问难题,提升工作效率。

weixin_29284657的博客 559

KBQA_多轮对话——模型源码解析(一)Pickle模块功能详解

KBQA_多轮对话——模型源码解析(一)Pickle模块功能详解pickle --- Python 对象序列化的基本功能1、pickle基本概念2、pickle 与 json 模块的比较3、pickle应用实例4、pickle模块解析CIFAR-10数据集 pickle — Python 对象序列化的基本功能 1、pickle基本概念 模块pickle实现了对一个Python对象结构的二进制序列化 “封存 (pickling)” 和 反序列化 “解封 (unpickling)”。 picklin

Yale-曼陀罗 1795

七、永磁同步电机矢量控制(FOC)—MTPA控制及Simulink仿真

前面几节的内容已经完成Id=0控制策略的理论和仿真以及双闭环PI参数整定。在接下来几节中,将陆续讲解MTPA、弱磁控制等内容。

weixin_45182459的博客 8200

pickle中python2与python3兼容问题

最近,博主将公司项目从Python2升级到Python3,后发现pickle在Python2与Python3中序列化与反序列化不兼容的问题,问题如下: 在Python3中反序列化Python2中序列化后的数据,将会引发如下错误: UnicodeDecodeError: 'ascii' codec can't decode byte 0xe8 in position 0: ordinal not...

奔跑的豆子的专栏 3388

Cesium 入门

Viewer:主要窗口Cesium 展示三维要素内容的主要窗口,包含三维地球的视窗,还包含了一些基础控价const viewer = new Cesium.Viewer('div的ID',{ options可选参数 },包括图层)options可选参数animation: false, 隐藏动画效果timeline:false, 隐藏时间轴等等Scene:场景类,隐藏地球图层Entity:实体类。

虎康的博客 3672

SimpleITK使用——1. 进行Resample/Resize操作

文章目录1. 变换到一个新的spacing1.1 使用Resample()的方法1.1.1 完整代码1.1.2 转换前后图像1.2 使用ResampleImageFilter()的方法2. 已知原图和变换后目标图像的大小2.1 代码2.2 转换后图像3. 相关内容说明3.0 体素和spacing3.1 Resample() 函数说明3.2 itk::simple::ResampleImageFilter函数说明 1. 变换到一个新的spacing 1.1 使用Resample()的方法 1.1.1

啷个哩个啷 8081

Python cPickle和pickle 在python 2和python 3中兼容性问题

我们以一个简单的文件打开和文件读为例说明,pickle读文件时可能存在的编码问题: 使用with结构避免手动的文件关闭操作 import gzip import pickle with gzip.open('./mnist.pkl.gz', 'rb') as f: training_data, validation_data, test_data = pickle.load(f) 如果沿...

Rp的博客 1138

基于STM32设计的遥控小车(手机APP+GPS+温湿度+ESP8266)

一、环境介绍 小车主控MCU: STM32F103ZET6 STM32程序开发IDE: keil5 STM32程序风格: 采用寄存器方式开发,注释齐全,执行效率高,方便移植 手机APP: 采用QT设计,程序支持跨平台编译运行(Android、IOS、Windows、Linux都可以编译运行,对应平台上QT的环境搭建,之前博客已经发了文章讲解) 硬件包含: 淘宝购买的完整一套4轮遥控小车(采用STM32F103ZET6作为主控板)、DHT11温湿度传感器、中科微GPS模块、ESP8266 ...

6万+

pickle 文件与不同版本的Python

                          pickle 文件与不同版本的Python   import pickle testpkl = pickle.loads(open("test.pickle", "rb").read()) 在读取一个 pickle 文件时, 由于刚开始未知其是有 python2 还是 python3 的 pickle 库保存的, 在 python2 环境...

AcceptedLin的博客 3933

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

python3使用pickle读取文件提示TypeError或者UnicodeDecodeError的解决办法

一、分割数据成train和test 代码: # data segmentation code # resize origin code to match classifier model and split the data set into training and test set import sys import os import shutil import csv impo...

初学者的博客 2474

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

py2中存储的pickle和py3中pickle无法读取的兼容性问题解决方案

问题描述在py2.7当中,用以下语句将变量存储到pickle当中with open('../dataset/m_7800/rf_preds.pickle', 'wb') as f: pickle.dump(rf_preds, f)这个时候,用py3.6中的pickle取获取存储好的变量with open('../dataset/m_7800/rf_preds.pickle', 'rb') a

zjuPeco的博客 5181

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

pickle的Python版本问题

在不同Python版本生成的pickle文件不能跨版本直接调用,会报错。 python3->python2 在Python2中需要用到Python3生成的pickle时,需要在Python3中先将pickle保存为Python2适用版本(好拗口...) 然后再在Python2中读取。 Python2->python3 python3中需要用到Python2生成的pickl...

yee_0217的博客 2161

复现问题记录 | StackGAN-v2 (in python3)(一)

复现问题记录1.py2与py3中easydict版本兼容问题2.py2和py3中xrange( )函数版本兼容性问题3.pickle.load()函数中字符编码问题4. 'str' object has no attribute 'decode'5.torch版本兼容问题6.TypeError: Cannot handle this data type 复现这篇论文时最开始按github指示在py2环境运行,但是明明是用服务器gpu却无法识别gpu(cuda._available为false),找了很多教程

qq_37236149的博客 1036

解析Ren'Py逆向工程难题:Python 3下pickle兼容性适配全解析

你是否曾在Ren'Py游戏逆向工程中遭遇神秘的`pickle.UnpicklingError`?是否在移植旧版脚本时被`__builtin__`模块错误搞得焦头烂额?unrpyc作为Ren'Py脚本 反编译器的核心工具,在Python 3环境下面临着严峻的序列化兼容性挑战。本文将深入剖析unrpyc如何通过`pickle_safe_loads`等机制解决Python 2到3的序列化兼容性鸿沟,为开...

gitblog_07731的博客 576

Python3中,错误信息:UnicodeDecodeError正解

这个报错一般是由于python2和python3.x编码的问题。 追溯到错误code: train, val, test = pickle.load(f) 似乎看不出有什么问题,一般git clone下来的代码需要注意python版本,还是存在着差异的。 解决方案: 增加编码格式: train, val, test = pickle.load(f,encoding='bytes') 此外,在安...

hito_Chen的博客 395

Python---序列化的模块pickle(标准模块)

Python3 python2与python3保存的pickle文件不兼容问题 # -*- coding:utf-8 -*- try: import cPickle as pickle except ImportError: import pickle cookies_file = "{0}.cookies".format("liudon") with open(cooki...

qq_34802511的博客 192

ModuleNotFoundError: No module named 'cPickle'

原因:python2有cPickle,python3没有cPickle; 解决办法:将cPickle改为pickle

Alexwu555的博客 594

【转译】解决python3读取Python2存储的pickle文件

在python3.5处理在python2.7里面存储的序列化文件xxx.pkl会报错。 import pickle picklefile=open('python2.pkl','rb') data=pickle.load(picklefile) UnicodeDecodeError: 'ascii' codec can't decode byte 0xa0 in position 11: ...

a3335581的博客 1432
上一篇: 解析文本文件 r 与 rb 模式的区别(Python)
下一篇: 从二项分布到泊松分布再到正态分布
阿拉斯加的狗
博客等级 码龄8年 66粉丝 248原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值