UnicodeDecodeError: ‘gb2312‘ codec can‘t decode byte 0x93 in position 4: illegal multibyte sequence

witto_sdy

于 2021-03-31 14:26:28 发布

阅读量1.7k

点赞数

分类专栏：后端 python 文章标签： python

本文链接：https://blog.youkuaiyun.com/witto_sdy/article/details/115349438

版权

python 同时被 2 个专栏收录

5 篇文章

订阅专栏

后端

4 篇文章

订阅专栏

在处理数据库中文字段时，由于编码格式不一致，可能会遇到UnicodeDecodeError。例如，尝试用gb2312解码时，遇到非法的多字节序列。解决方案是在转码时加入`errors='ignore'`或使用`decode('gb2312', 'ignore')`忽略错误。然而，将gb2312改为gbk并不总是有效，因为gbk编码并非万能。针对这种情况，需要正确识别数据的原始编码并适当地进行转换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python 字符转码异常

使用代码：

str(row[2], encoding=charset)

使用场景

从数据库中取字段，但字段存储的中文编码格式不一致

当执行时，遇到错误：UnicodeDecodeError: 'gb2312' codec can't decode byte 0x93 in position 4: illegal multibyte sequence

这是转码失败！

解决方式

    def __init__(self, value='', encoding=None, errors='strict'): # known special case of str.__init__
        """
        str(object='') -> str
        str(bytes_or_buffer[, encoding[, errors]]) -> str
        
        Create a new string object from the given object. If encoding or
        errors is specified, then the object must expose a data buffer
        that will be decoded using the given encoding and error handler.
        Otherwise, returns the result of object.__str__() (if defined)
        or repr(object).
        encoding defaults to sys.getdefaultencoding().
        errors defaults to 'strict'.
        # (copied from class doc)
        """
        pass

str(row[2], encoding=charset, errors='ignore') 增加参数ignore

还有一种方式 decode(‘gb2312’,‘ignore’)

后语

网上还有一种方式是，将gb2312改为gbk，认为gb2312的编码集没有gbk广泛。但我这里不完全适用，gbk的编码也会偶尔报错