初学爬虫编码的坑，将\\xe5\\x8d转化为中文

pp517462915

于 2019-05-04 15:14:00 发布

阅读量1.2w

点赞数 2

本文链接：https://blog.youkuaiyun.com/pp517462915/article/details/89813826

版权

初学者在爬取豆瓣图书出版社信息时遇到编码难题，原始数据为'xe5x8dx9axe9x9bx86xe5xa4xa9xe5x8dxb7'的list，通过普通encode和decode无法正确转为中文。解决方案包括使用unicode_escape进行解码，参考了相关博客文章。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

初学爬虫爬取豆瓣图书出版社的名字

爬取代码

豆瓣图书

import urllib.request
import re
url = 'https://read.douban.com/provider/all'
pat = '<div class="cm-body"><div class="name">(.*?)</div><div class="works-num">'
data = urllib.request.urlopen(url).read()
key_word = re.compile(pat).findall(str(data))

得到的的是 ‘\xe5\x8d\x9a\xe9\x9b\x86\xe5\xa4\xa9\xe5\x8d\xb7’的list集合。
普通的encode 和decode都无法正确得到中文信息，下面分两步

将\xe5\x8d\x9a\xe9\x9b\x86\xe5\xa4\xa9\xe5\x8d\xb7变成\xe5\x8d\x9a\xe9\x9b\x86\xe5\xa4\xa9\xe5\x8d\xb7

s = key_word[0].encode().decode('unicode_escape')

unicode_escape 能够正确解决 \ 的问题

将\xe5\x8d\x9a\xe9\x9b\x86\xe5\xa4\xa9\xe5\x8d\xb7转化为中文

s.encode('raw_unicode_escape').decode()

参考：
（1） https://www.jianshu.com/p/c318e7d4cbe4
（2）https://blog.youkuaiyun.com/baidu_19473529/article/details/54949453