pickle 在python 2和python 3中兼容性问题

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                       

 

以下的演示均在python 3环境下进行。

我们以一个简单的文件打开和文件读为例说明，pickle读文件时可能存在的编码问题：

import gzipimport pickle# 使用with结构避免手动的文件关闭操作with gzip.open('./mnist.pkl.gz', 'rb') as f:    training_data, validation_data, test_data = pickle.load(f)
  
1
2
3
4
5
6

如果沿用python 2.x的做法，如上所示，而不做任何编码格式上的设置，直接运行，编译器会提示如下错误：

UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in range(128)
  
1

0. 一种 import 的兼容性解决思路

try:    import cPickle as pickleexcept ImportError:    import pickle
  
1
2
3
4

1. 解决方案

一种可行的解决方案是：

with gzip.open('./mnist.pkl.gz', 'rb') as f:    u = pickle._Unpickler(f)    u.encoding = 'latin1'    training_data, validation_data, test_data = u.load()
  
1
2
3
4

或者更为精炼地：

with gzip.open('./mnist.pkl.gz', 'rb') as f:    training_data, validation_data, test_data = pickle.load(f, encoding='latin1')
  
1
2

references

[1] <Pickle incompatability of numpy arrays between Python 2 and 3>

           

给我老师的人工智能教程打call！http://blog.youkuaiyun.com/jiangjunshow