解决python爬虫中文乱码问题

最新推荐文章于 2024-07-08 17:14:04 发布

原创最新推荐文章于 2024-07-08 17:14:04 发布 · 3.3k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #中文乱码

数据分析专栏收录该内容

28 篇文章

订阅专栏

本文介绍了解决Python爬虫在抓取GBK编码网页时出现中文乱码的方法。通过查看网页编码，对目标网页进行转码，实现中文正常显示，并成功将数据保存到CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在用python爬取网页数据时中文显示乱码，最终发现是目标网页编码与python默认编码‘utf-8’不一致导致的。下面把解决方法与大家分享。

step1：查看目标网页编码方式

在各种浏览器打开的任意页面上使用F12功能键，即可使用开发者工具，在窗口console标签下，键入“document.charset” 即可查看网页的编码方式。如网页链接: http://www.tianqihoubao.com/aqi/lanzhou-201812.html的编码为“GBK”。
在这里插入图片描述

step2：对目标网页转码

url="http://www.tianqihoubao.com/aqi/lanzhou-201812.html"
try:
    html=urlopen(url)
except HTTPError as e:
    print (e)
else:
    #目标网页编码为'GBK',python默认编码为'utf-8',为解决中文乱码问题，对目标网页进行解码再编码
    bsobj=BeautifulSoup(html.read().decode('GBK').encode('utf-8') )

step3：爬取数据并保存

# -*- coding: utf-8 -*-
from urllib.request import urlopen
from bs4 import BeautifulSoup
import urllib.parse
import pandas as pd

url="http://www.tianqihoubao.com/aqi/lanzhou-201812.html"
try:
    html=urlopen(url)
except HTTPError as e:
    print (e)
else:
    #目标网页编码为'GBK',python默认编码为'utf-8',为解决中文乱码问题，先对目标网页进行解码再编码
    bsobj=BeautifulSoup(html.read().decode('GBK').encode('utf-8') )
#获取标签为tr的数据
data=bsobj.findAll('tr')
con=[]
#取出表头
for i in data[0:1]:
    title=i.get_text().strip().split("\n\n")
print (title)
#取表格中的内容
for i in data[1:]:
    contents=i.get_text()
    con.append(contents.replace(" ","").replace("\n\r","").replace("\r\n","").strip().split("\n"))
#将数据放到DataFrame中并写入csv文件保存
air_data=pd.DataFrame(con,columns=title)
print (air_data)
air_data.to_csv('air.csv',index=None)