python爬虫 获取乱码 ‘Accept-Encoding‘: “br“

本文介绍了浏览器支持的编码类型,特别是Brotli(br),一种新的数据压缩格式。当使用Python的requests库时,可能会遇到Brotli编码导致的解码问题。解决方法是在请求头中添加'br'到'Accept-Encoding',并引入brotli库进行解码。这样可以确保正确处理br编码的内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题:

浏览器支持的编码类型。一般有gzip,deflate,br 等等。

python的requests里,有response.text 和 response.content,一般解码byte和str类型。所以如果遇到br类型就会解码得到一堆乱码。

br是brotli,一种新的数据格式。在网页右键‘检查’,‘Network’里面,可以查看网页的压缩模式:

content-encoding:br

content-type:text/html; charset=utf-8

解决方案:

在python中导入brotli包(安装:pip install brptli):

import brotli

并将‘br’添加到headers的Accept_encoding中:

 'Accept-Encoding': 'br,gizp,defale'

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值