Python3 编码问题：怎么将Unicode转中文，以及GBK乱码ÖÐ¹úÉÙÊýÃñ×åÌØÉ«´åÕ¯

最新推荐文章于 2024-10-28 16:32:24 发布

原创最新推荐文章于 2024-10-28 16:32:24 发布 · 9.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #unicode #utf-8

python 专栏收录该内容

149 篇文章

订阅专栏

本文深入探讨了Python中不同编码间的转换方法，特别是针对GBK和Unicode转码问题的解决方案。通过具体示例展示了如何使用codecs模块打开文件以及如何正确处理特殊编码格式的数据，避免编码错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原理：

如果***type(text) is bytes***，
那么text.decode('unicode_escape')

*decode对应bytes*
如果type(text) is str，
那么text.encode(‘latin1’).decode(‘unicode_escape’)
*encode对应str*

1. 案例：

#coding=utf-8
import requests,re,json,traceback
from  bs4 import  BeautifulSoup

def qiushibaike():
    content = requests.get('http://baike.baidu.com/city/api/citylemmalist?type=0&cityId=360&offset=1&limit=60').content

    soup = BeautifulSoup(content, 'html.parser')
    print(soup.prettify())  #.decode("unicode_escape")
    #目前soup.prettify()为str
    new=soup.prettify().encode('latin-1').decode('unicode_escape')
    #.dencode('latin-1').encode('latin-1').decode('unicode_escape')

    print(new)


if __name__=='__main__':
    qiushibaike()

2. 结果对比：

这里写图片描述

案例2，\xe5\x8f\xa4\xe8\xbf\xb9编码

\xe5\x8f\xa4\xe8\xbf\xb9编码处理

userInputTag=["\xe5\x8f\xa4\xe8\xbf\xb9","\xe5\xbb\xba\xe7\xad\x91"]
print(userInputTag[0].encode('latin-1').decode('utf-8'))

结果：

古迹

完成转化

出现GBK无法编译

另外爬取时，网站代码出现GBK无法编译python3,如出现如下：

<h1>ÖÐ¹úÉÙÊýÃñ×åÌØÉ«´åÕ¯[6]</h1>

示例：

#coding=utf-8
import requests
#共有6页,首页为空不为6
for i in range(6):
    if i==0:
        url='http://www.tcmap.com.cn/list/zhongguoshaoshuminzutesecunzhai.html'

    else:
        url='http://www.tcmap.com.cn/list/zhongguoshaoshuminzutesecunzhai'+str(i)+'.html'
    response=requests.get(url)
    print(type(response))
   #如需成功编译，在.TEXT下面增加#号部分 
    html=response.text   #.encode('latin-1').decode('GBK')
    print(html)

这里写图片描述

文件读写操作codecs.open

python 文件读写时用open还是codecs.open
案例：当我们需要写入到TXT中的过程中
代替这繁琐的操作就是codecs.open，例如

import codecs
fw = codecs.open(‘test1.txt’,’a’,’utf-8’)
fw.write(line2)

不会报错，说明写入成功。这种方法可以指定一个编码打开文件，使用这个方法打开的文件读取返回的将是unicode。写入时，如果参数是unicode，则使用open()时指定的编码进行编码后写入；如果是str，则先根据源代码文件声明的字符编码，解码成unicode后再进行前述操作。相对内置的open()来说，这个方法比较不容易在编码上出现问题。