爬虫遇到乱码怎么办? 解决乱码问题

最新推荐文章于 2024-08-08 17:59:21 发布

原创最新推荐文章于 2024-08-08 17:59:21 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #乱码 #网页编码

python爬虫专栏收录该内容

20 篇文章

订阅专栏

本文介绍了解决爬虫抓取非英文网页时出现乱码的方法，包括如何使用浏览器开发者工具和Python代码来检测网页的真实编码，确保正确解码。

情景

在爬取非英文网站的页面时, 如果发现获取后的网页字符串无法正常显示, 出现乱码. 通常都是因为解码所使用的编码不是网页原来所使用的编码. 需要查询网页本身的编码.

查询网页编码

方法一:

1. 打开浏览器开发者工具, 切换到console工具.
2. 在控制台输入 document.chardet 即可显示出网页的编码格式.

方法二:

使用python获取网页编码格式.

import requests
import chardet

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}

url = 'https://www.aiyuke.com/view/cate/zhuangbeiceping.htm'
data = requests.get(url, headers=headers)
print(chardet.detect(data.content)) 	# 从网页二进制源码中判断出编码格式