Python爬虫-11-response.text出现乱码的解决方案

在进行Python爬虫时,遇到response.text显示乱码的情况。通过分析,发现可能是返回内容被压缩。通过使用response.content.decode('utf-8')转换编码,成功解决了乱码问题,使得页面内容能正常显示。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

代码如下: 

# 这里是封装的一个下载url页面的方法


import requests

def download_page(url, user_Agent=None, referer=None):
    print("Downloading:",url)
    headers = {
        "Referer":referer,
        "User-Agent":user_Agent
    }
    response = requests.get(url=url,headers=headers)
    try:
        html = response.text
    except Exception as e:
        print("Download error:",e)
        html = None
    return html

if __name__ == '__main__':
    u = "http://192.168.1.19:8080/edu/"
    u_a = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"
    print(download_page(url=u, user_Agent=u_a))

执行结果:

页面是下载下来了,但是有乱码

 

考虑:

response.text以文本格式查看的时候有乱码,可能是返回的内容被压缩了,这里修改一下

response.content.deco

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值