python中文字符解码问题

最新推荐文章于 2024-03-06 00:48:28 发布
原创 最新推荐文章于 2024-03-06 00:48:28 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍在Python中遇到的中文解码错误问题，详细解释了如何从使用GBK编码转换为GB18030编码来解决此问题，并讨论了GB18030的局限性。最后推荐使用更广泛的UTF-8编码作为最佳实践。

在python中解码中文的时候，可能报以下错误：

data.decode('gbk');

'gbk' codec can't decode bytes in position xxx illegal multibyte ...

可以尝试把gbk换成'GB18030'

因为gbk相对于gb2312包含的字符更多，但是GB18030包含的字符数又大于gbk.所以试试GB18030


题外话，按照一些理论GB18030有的时候也不好用。

最好的办法就是在所有的程序设计和编码的时候使用utf-8.



Python - 字符串编解码
AI工程化、开源分享、文档翻译、代码笔记
06-24 1594
Python 编解码， 字节字符串
Python3 字符编解码
最新发布
luohaha66的博客
03-14 611
编码：根据编码格式将人类认识的字符转为字节流。 解码：根据编码格式将字节流转为人类认识的字符。
【python】字符串的编码和解码
zhang2929259676的博客
03-06 902
将str类型转换成bytes类型，需要使用字符串的encode()方法。
python 字符的编码和解码
搬砖小能手
03-19 1283
python 字符的编码和解码
python，读取含中文的文件时，报“UnicodeDecodeError”等乱码错误，最全编码设置方式
jieru_liu的博客
06-03 876
编码格式错误。UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 1: invalid start byte
python3的decode里面处理错误无法解析的字节
by_side_with_sun的博客
06-27 4795
s.decode("utf-8", "ignore") 忽略其中有异常的编码，仅显示有效的编码 s.decode("utf-8", "replace") 替换其中异常的编码，这个相对来可能一眼就知道那些字符编码出问题了。 这个可以有效处理错误 ...
html = data.decode('gbk').encode('utf-8')
weixin_33690963的博客
08-06 1815
html = data.decode('gbk').encode('utf-8')此处encode编码要与html文件内charset=utf-8的格式一致，如果不一致，浏览器打开乱码，文本编辑器正常。
Python中文字符串截取问题
09-21
而对于大部分的中文汉字，它们则通常需要两个或更多的字节来表示。具体来说： - 占用1个字节的：ASCII字符，包括数字和英文字母。 - 占用2个字节的：部分特殊字符，如全角符号、日韩文等。 - 占用3个字节的：大多数...
Python使用中文正则表达式匹配指定中文字符串的方法示例
10-20
标题所涉及的知识点为：Python使用中文正则表达式匹配指定中文字符串的方法示例。在该主题下，我们首先要理解什么是正则表达式及其在Python中的应用。正则表达式是一套规则和符号模式，用于文本的查找、匹配和替换...
Python3如何解决字符编码问题详解
09-21
- **默认编码问题**：Python2默认使用ASCII编码，这对于包含非ASCII字符的语言（如中文）来说处理起来非常不方便。 - **类型混淆问题**：Python2中有`str`和`unicode`两种字符串类型，这很容易造成混淆和错误。 ###...
Python 3 爬虫之抓取当当网特价书名
岁月如歌
10-22 1716
网址：http://promo.dangdang.com/subject.php?pm_id=1501519&tag_id=&sort=price_asc&province_id=137&p=871 要点： Chrome审查功能看到的源码与Python爬虫真实获取的源码有出入，写正则表达式时应该参照后者。该网页的最大页面数会变化，每次解析都要重新提取一次。没加入异常处理，也没使
python网络编程，socket编程
飄簃360℃
06-21 384
本文简要介绍对套接字的网络编程。套接字是结算及网络数据结构，体现的是“通信端点”的概念。网络应用程序在进行任何通信之前，必须先创建套接字。 一、主要函数介绍： Python中的网络编程，主要使用socket模块的函数。 socket =》创建套接字对象，socket(s ocket_family ,  socket_type ,  protocol =0) 服务器端的方法： bind =
python中文编码问题（decode('gbk').encode('utf-8')和decode('utf-8').encode('gbk')这对好基友）
热门推荐
Leo_Xu06的博客
11-18 3万+
python中文编码问题（decode('gbk').encode('utf-8')和decode('gbk').encode('utf-8')这对好基友）
【Python笔记】Python 中的编码与解码
RadiantJeral的博客
06-28 2078
本文记录 Python2.x 和 Python3.x 中关于编码和解码的问题.
解决python的中文字符编码问题
LogM的博客
07-15 2万+
摘要：最近在做自然语言处理相关的项目，发现中文编码的问题实在需要好好学习下，我用python为例，简单介绍下python编程时如何处理好中文编码的问题。
Python字符串的编码与解码(encode与decode)
weixin_34095889的博客
04-19 385
首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串转换成unicod...
python字符串编码/解码
清风拂面
08-23 1974
在Python2中，普通字符串是以8位ASCII码进行存储的，而Unicode字符串则存储为16位unicode字符串，这样能够表示更多的字符集。使用的语法是在字符串前面加上前缀 u。 在Python3中，所有的字符串都是Unicode字符串。 1.字符串编码 encode(encoding='UTF-8',errors='strict') 以 encoding 指定...
Python字符串编码转换
来自江南的你的博客
03-26 6016
字符串编码转换 最早的字符串编码是ASCII码，只包括0-9的数字，A-Z和a-z的字母以及空格、制表符等其他符号共256个字符。 随着信息技术的发展，各国的文字都需要进行编码，因此就出现了 GBK/GB2312 编码以及 UTF-8 编码。 在Python3中，默认采用UTF-8编码。 在Python中，有两种常用的字符串类型，一种是str，一种是bytes。 这两种类型的...
Python2字符编码问题及解码编码详解
需要注意的是，尽管在Python2中使用UTF-8声明解决了命令行中文显示的问题，但Python3从一开始就默认使用Unicode，因此在处理字符编码时更为直观和简单。 总结来说，理解Python2的字符编码机制对于编写兼容不同编码...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值