pickle读文件解码问题

最新推荐文章于 2024-09-04 06:00:00 发布

原创最新推荐文章于 2024-09-04 06:00:00 发布 · 1.9k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#cPickle #pickle #编码 #python

乱搞专栏收录该内容

32 篇文章

订阅专栏

本文详细记录了在使用Python3运行RevisitingSemi-SupervisedLearningwithGraphEmbeddings代码时，遇到的pickle读取数据文件的UnicodeDecodeError问题及解决方案。通过尝试不同的编码方式，最终确定使用iso-8859-1编码成功解决问题。

运行 Revisiting Semi-Supervised Learning with Graph Embeddings 的代码（kimiyoung/planetoid），其中用 pickle 读数据文件出现问题。
它本身是用 python 2 写的，用的是 import cPickle，我用 python 3，改成 import _pickle as cPickle。
在那句cPickle.load(open("data/trans.{}.{}".format(DATASET, NAMES[i])))时报错：

UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 0: illegal multibyte sequence

改成：cPickle.load( open(“data/trans.{}.{}”.format(DATASET, NAMES[i]), ‘r’, encoding=‘UTF-8’))，报错：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

改成：cPickle.load( open(“data/trans.{}.{}”.format(DATASET, NAMES[i]), ‘rb’), encoding=‘utf-8’)，报错：

'utf-8' codec can't decode byte 0x85 in position 16: invalid start byte

改成：cPickle.load(open(“data/trans.{}.{}”.format(DATASET, NAMES[i]), ‘rb’))，报错：

UnicodeDecodeError: 'ascii' codec can't decode byte 0x85 in position 16: ordinal not in range(128)

改成：cPickle.load(open(“data/trans.{}.{}”.format(DATASET, NAMES[i]), ‘rb’), encoding=‘iso-8859-1’)，终于可以了。

References

python3使用pickle读取文件提示TypeError或者UnicodeDecodeError的解决办法
python 读取文件时报错UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 205: illegal multibyte sequence