python_requests库请求内容出现乱码

最新推荐文章于 2024-07-12 16:58:11 发布
原创 最新推荐文章于 2024-07-12 16:58:11 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了解决使用request请求网页时出现中文乱码的方法，包括设置正确的编码格式和使用apparent_encoding自动检测编码。

一、有时候request会出现请求的网页内容中中文部分显示为乱码

1.通过添加encoding，可以改回来

def download_page(url):
   headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
   r = requests.get(url, headers=headers)
   r.encoding = 'gb2312'
   return r.text

2.利用apparent_encoding

res = requests.get(url, headers = header)
res.encoding = res.apparent_encoding
pritn(res.text)

二、关于encoding的选择

1.查看该网页的网页源代码

charset的编码就是encoding的值

两万字博文教你python爬虫requests库【详解篇】
孤寒者的博客
07-12 63万+
两万字博文教你python爬虫requests库【详解篇】
Python使用request包请求网页乱码解决方法
weixin_42625143的博客
08-09 1820
使用requests请求网页时，返回的页面信息有时是乱码，如下代码 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' } def get_all(url,key): ...
Python requests乱码的五种解决办法
热门推荐
小龙在线
12-25 3万+
使用requests模块请求网页内容，经常会出现乱码，例如： import requests res = requests.get("https://www.baidu.com/") print(res.text) 乱码的原因是内容编码和解码方式不一致导致的，解决办法有以下几种解决办法： 第一种：apparent_encoding import requests res = requests.get("https://www.baidu.com/") res.encoding = res.apparen
python中使用requests模块乱码的解决方法
m0_74459049的博客
05-07 3173
python中使用requests模块乱码的解决方法
python使用requests请求的数据乱码
weixin_34060299的博客
07-28 514
1.首先进入目标网站，浏览器查看源码，找到head标签下面的meta标签，一般meta标签不止一个，我们只需找到charset属性里面的值即可 2.requests请求成功时，设置它的编码，代码如下 def get_one(url): res = requests.get(url) res.encoding='gb2312' #编码格式 if res.stat...
python中requests库乱码问题
ForestCat的专栏
03-13 470
# 2. 引入 requests库 import requests resp=requests.get("http://www.baidu.com") print( resp ) # <Response [200]> #2. Response是一个响应的对象 print( "结果:", resp.text ) #3. 文本结果乱码的处理 '''' 为什么不用 resp...
python中requests爬去网页内容出现乱码问题解决方法介绍
12-25
最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录验证，这可以查看这篇文章。这篇博客要解决的问题是如何避免在使用requests的时候出现乱码。 import ...
解决Python发送Http请求时,中文乱码的问题
09-16
在Python中使用`requests`库发送HTTP请求时，如果请求参数或URL中含有中文字符，那么这些中文字符在传输过程中可能会被错误地编码，导致接收方解析时出现乱码。例如，在构造URL时直接使用未编码的中文字符作为参数值...
解决python3中的requests解析中文页面出现乱码问题
09-19
在Python 3中，使用requests库进行HTTP请求时，可能会遇到中文页面乱码的问题。这是因为requests库在处理HTTP响应时，默认会尝试猜测响应内容的字符编码（通过`response.encoding`属性），但这种猜测并不总是准确，...
requests请求网页乱码解决
CrazyManhhh的博客
02-19 1220
url = 'https://www.cannews.com.cn/2022/0218/338821.shtml' r = requests.get(url) r.encoding = r.apparent_encoding print(r.text)
python requests请求得到乱码解决方法
return_rebound的博客
07-12 1746
python requests请求得到乱码解决方法
为什么requests库有时中文会乱码
BuXianShan的博客
04-25 433
中文乱码肯定是编码的问题 一般情况下requests库会根据响应头里的charset来选择相应的解码方式。 如抓取百度首页： 但是当响应头没有charset时，requests就会采用默认的“ISO-8859-1”编码，这种编码是不支持中文的，所以中文肯定会乱码。 例如抓取LOL首页： 该响应头没有说明charset，所以requests采用默认的“ISO-8859-1”编码，遇到中文肯定就乱...
解决Python库Requests中文乱码
LU_ZHAO的博客
03-14 755
当使用Python库requests进行网络请求的时候： r = requests.get(url) 1 使用 r.text返回的是Unicode型的数据。 r.content返回的是bytes型的数据。 如果你想取文本，使用r.text。 如果想取图片，文件，则可以通过r.content。 2 Requests库的自身编码为: r.encoding = ‘ISO-8859-1’ 修改编码： r...
python中——requests爬虫【中文乱码】的3种解决方法
2301_82000445的博客
01-25 1万+
👉Python学习路线汇总👈Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）👉Python必备开发工具👈。
python requests.get发送Http请求响应结果乱码、Postman请求结果正常
little_kid_pea的博客
10-19 1298
于是注释掉了requests的请求头部中的Accept-Encoding: gzip, deflate, br给注释了，结果发现响应内容正确显示。果然br仅仅是postman支持，而requests不支持，找到问题原因。，说是请求头为accept-encoding:gzip时，才会乱码。中知道Accept-Encoding表示自己支持的内容编码格式列表。于是搜索了Accept-Encoding的含义，在。十分费解，于是网上搜索了相关内容，找到了。
解决使用requests出现中文乱码的问题
pikaqiu123321123的博客
05-20 886
我的bug：打印response.text时出现了中文乱码的情况 解决方法：观察到爬取的网页页面是utf-8编码（在页面里可找到） 而requests response默认采用ISO-8859-1编码，因此引起中文乱码。 所以对response指定编码方式为utf-8即可： response.encoding='utf-8' to be continuing ...
程序解码错误-由python的requests.post 请求结果乱码引起的思考
pbdatax的博客
02-14 1096
最近，在使用python的requests.post的时候，不论结果如何处理，得到的都是乱码。然而，问题依旧!!!这时候，查看一下response返回结果的header信息里面的**{‘Content-Encoding’: ‘br’}** 这个引起了我的注意。于是就查了一下br是个什么东东？？原来**“br”**是一种新的压缩算法，全称是Brotli。我想，会不会是因为客户端不支持“br"这种算法导致的乱码呢？
requests爬虫【中文乱码】的3种解决方法
2301_77195717的博客
10-13 1664
使用requests库时，选择使用的文本响应方法不合适，以至于使用【requests.text】自动获取到的网页编码与实际网页的编码不一致，导致中文乱码。在这里请注意【requests.text】与【requests.content】最大的区别在于后者常用于图片和视频，且不会解码，直接以二进制形式返回。由于习惯，使用requests库时，常用【requests.text】进行文本响应，1.直接将requests.text换成requests.content。3.指定编码格式为UTF8。
python+requests请求中文参数变成了乱码
最新发布
08-28
在使用 Python 的 `requests` 库发送请求时，若请求参数中包含中文字符，可能会因为编码问题导致乱码。这种现象通常出现在 GET 请求的 URL 参数或 POST 请求的表单数据中。以下是几种有效的解决方法： ### GET 请求中的中文参数乱码 GET 请求的参数通常附加在 URL 后面，而 URL 只能使用 ASCII 编码。如果参数中包含非 ASCII 字符（如中文），则需要对参数进行编码。`requests` 提供了自动处理编码的功能，可以通过传递字典形式的参数来实现[^1]。 ```python import requests params = { 'key1': 'value1', 'key2': '中文' } response = requests.get('http://example.com', params=params) print(response.url) ``` 上述代码会自动将 `params` 中的中文参数进行 URL 编码，确保传输过程中不会出现乱码问题。 ### POST 请求中的中文参数乱码 POST 请求的参数通常以表单或 JSON 格式发送。对于表单数据，`requests` 默认使用 `application/x-www-form-urlencoded` 编码方式，同样可以通过传递字典来处理中文字符[^2]。 ```python import requests data = { 'username': '用户', 'password': '密码' } response = requests.post('http://example.com/login', data=data) print(response.text) ``` 如果需要发送 JSON 数据，可以使用 `json` 参数，`requests` 会自动将字典转换为 JSON 格式，并设置正确的 `Content-Type` 头部[^3]。 ```python import requests json_data = { 'username': '用户', 'password': '密码' } response = requests.post('http://example.com/login', json=json_data) print(response.text) ``` ### 手动指定编码方式 在某些情况下，服务器可能返回的响应内容中包含中文字符，但 `requests` 无法正确识别编码方式，这时可以手动指定响应的编码[^4]。 ```python import requests response = requests.get('http://example.com') response.encoding = 'utf-8' # 手动指定编码为 UTF-8 print(response.text) ``` ### 使用 `apparent_encoding` 自动检测编码 如果不确定服务器返回的内容使用哪种编码，可以使用 `apparent_encoding` 属性，它会基于响应内容进行编码猜测[^1]。 ```python import requests response = requests.get('http://example.com') response.encoding = response.apparent_encoding # 自动检测编码 print(response.text) ``` ### 直接处理二进制响应内容 对于某些特殊编码的响应内容，可以先获取二进制数据，然后手动解码为所需的字符集[^3]。 ```python import requests response = requests.get('http://example.com') print(response.content.decode('utf-8')) # 手动解码为 UTF-8 ``` ### 设置请求头中的 `Accept-Encoding` 在某些情况下，服务器可能会根据 `Accept-Encoding` 头部返回不同编码的内容。可以通过设置请求头来控制服务器返回的内容编码方式[^4]。 ```python import requests headers = { 'Accept-Encoding': 'identity' # 请求服务器不进行压缩 } response = requests.get('http://example.com', headers=headers) print(response.text) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值