python2(中文编码问题):UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1

https://www.cnblogs.com/walk1314/p/7251126.html


python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128),python没办法处理非ascii编码的,此时需要自己设置将python的默认编码,一般设置为utf8的编码格式。
  查询系统默认编码可以在解释器中输入以下命令:
python代码
  >>>sys.getdefaultencoding() 
  设置默认编码时使用:
python代码
  >>>sys.setdefaultencoding('utf8') 
  可能会报AttributeError: 'module' object has no attribute 'setdefaultencoding'的错误。执行reload(sys),再执行以上命令就可以顺利通过。
此时再执行sys.getdefaultencoding()就会发现编码已经被设置为utf8的了,但是在解释器里修改的编码只能保证当次有效,在重启解释器后,会发现,编码又被重置为默认的ascii了。
  有2种方法设置python的默认编码:
  一个解决的方案在程序中加入以下代码:
  Python代码
  # encoding=utf8 
  import sys 
  reload(sys) 
  sys.setdefaultencoding('utf8') 
  另一个方案是在python的Lib\site-packages文件夹下新建一个sitecustomize.py,内容为:
  Python代码 
  # encoding=utf8 
  import sys
  reload(sys) 
  sys.setdefaultencoding('utf8') 
  此时重启python解释器,执行sys.getdefaultencoding(),发现编码已经被设置为utf8的了,多次重启之后,效果相同,这是因为系统在python启动的时候,自行调用该文件,设置系统的默认编码,而不需要每次都手动的加上解决代码,属于一劳永逸的解决方法。

### 解决方案 当在 Python 中使用 `pickle.load` 函数加载数据时,如果遇到 `UnicodeDecodeError: 'ascii' codec can't decode byte` 错误,通常是因为文件是以不兼容的方式保存或读取的。以下是详细的解决方法: #### 1. **指定编码参数** 在 Python 3.x 版本中,可以尝试通过设置 `encoding='bytes'` 或者其他合适的编码方式来解决问题。例如,在打开文件时显式指定编码为 `'iso-8859-1'` 是一种常见做法[^2]。 ```python import pickle with open("data.pkl", "rb") as file: data = pickle.load(file, encoding="iso-8859-1") ``` 上述代码片段中的 `encoding="iso-8859-1"` 参数能够有效处理某些因编码冲突引发的异常情况。 #### 2. **确认文件存储格式** 如果该 `.pkl` 文件是在 Python 2 下创建,则可能由于默认协议差异而导致解码失败。在这种情况下,建议重新序列化对象并确保其与当前使用的 Python 版本一致。具体操作如下所示[^4]: ```python # 使用 Python 3 进行重写 import pickle with open("old_data.pkl", "rb") as old_file: obj = pickle.load(old_file, encoding="latin1") with open("new_data.pkl", "wb") as new_file: pickle.dump(obj, new_file) ``` 这里的关键在于引入了 `"latin1"` 编码作为中间桥梁,从而规避原始 ASCII 字符集带来的局限性[^3]。 #### 3. **调整环境变量(仅限特殊情况)** 尽管此法并不推荐用于常规场景下修复此类问题,但在极少数特殊需求场合里,可以通过修改全局字符编码设定间接影响行为表现。不过需要注意的是,这种方法适用于早期版本 (Python 2),而在现代版次中已被废弃支持。 --- ### 总结 综上所述,最直接有效的途径便是合理运用 `pickle.load()` 方法内的可选参数——即明确指明适合目标平台特性的编码选项;同时也要留意源数据的实际生成背景及其潜在依赖关系。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值