UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position

用python写的代码,大致是以下内容出错

import os

# 使用os获取mypath文件夹内的文件
dir = os.listdir("mypath") # dir=[file1,file2,file3]

for file in dir:
    with open(file,"rt") as f  # “rt”表示以文本模式读取文件,默认是utf-8编码
        # do something

在读取文件内容是报错UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position,Unicode解码错误,‘utf-8’无法对字节类型进行解码。但是文件夹里都是文本类型文件,应该不会出错。折腾了好多遍,发现其实是mac os系统会在每个文件夹下自动创建.DS_Store文件,这个文件是记录文件夹样式的隐藏文件,把这个隐藏文件删掉就好了。

 

但是UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position报错的实际原因的确是解码错误。.DS_Store文件不是文本文件,所以用“rt”模式读取就会报这个错。

类似的错误在stack overflow上也有,看这里'utf-8' codec can't decode byte 0x80

stack overflow上这个,是因为打开的应该是个二进制文件,不能用open(file,'r'),‘r’会默认使用文本模式,而应该使用open(file,'rb').

'rb'代表读取二进制文件。

 

`UnicodeDecodeError: 'utf-8' codec can't decode byte 0x99 in position 26: invalid start byte` 这是一个常见的 Python 错误提示,表示程序尝试将某些二进制数据解码为 UTF-8 编码的字符串时失败了。 ### 具体原因分析: UTF-8 是一种常用的字符编码方式,它能够处理大多数语言的文字。然而,并不是所有的字节序列都可以被合法地解释为 UTF-8 字符串。错误信息中的 `byte 0x99` 表示在位置 26 的地方遇到了无法解析的有效起始字节 (invalid start byte) ,因此导致了解码失败。 #### 可能的原因包括: 1. **文件内容非 UTF-8 格式**:如果读取了一个非 UTF-8 文件(例如 ISO-8859、GBK 等),却试图用 UTF-8 解码,则会发生此错误。 2. **损坏的数据流**:传输过程中可能导致数据异常丢失或者篡改了一些关键位元组。 3. **错误指定编码类型**:当从网络请求或其他来源获取文本时,开发者手动指定了错误的解码模式。 ### 潜在解决方案: 1. 首先确认源数据的实际编码格式是什么。可以借助工具库如 chardet 或 cchardet 来探测未知文件的真实编码形式; ```python import chardet rawdata = open('yourfile', 'rb').read() result = chardet.detect(rawdata) print(result['encoding']) # 输出检测到的编码名 ``` 2. 使用正确的编码方式进行解码操作。比如若得知原文件采用 GBK 而非 UTF-8,那么应更改代码如下所示: ```python with open("path/to/file", "r", encoding="gbk") as f: content = f.read() ``` 3. 对于确实包含不可识别字节的情况,在确保不影响整体功能的前提下忽略它们也是一种选择: ```python decoded_string = your_bytes.decode('utf-8','ignore') ``` 4. 替换非法字符而非直接跳过也可以是一种办法: ```python decoded_string = your_bytes.decode('utf-8', errors='replace') ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值