Python---爬虫请求库---requests

最新推荐文章于 2024-12-14 11:27:40 发布

agsddd

最新推荐文章于 2024-12-14 11:27:40 发布

阅读量243

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫开发

本文链接：https://blog.youkuaiyun.com/weixin_41245276/article/details/87532145

46 篇文章

订阅专栏

本文深入探讨了Python的Requests库，解析其相较于urllib的优势，包括简洁性、跨版本兼容性及自动解压功能。文章详细介绍了response对象的常用方法，如text与content属性的区别，以及如何处理编码问题。此外，还分享了模拟登录的三种方法和一些实用的小技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

response.text r.encoding(观察对方服务器的响应，根据响应头部的内容，猜测是用的什么编码)
r.encoding = “utf-8” 指定编码方式
r.content 返回的是没有进行任何修改的bytes类型的字符串使用r.content.decode（）转换成str类型的字符串。
response.status_code （状态码）
response.request.headers （请求头）response headers 内有Set-cookie ，是服务器发送过来在客户端设置的cookie，也可以通过js设置cookie
response.request.url
response.headers 响应头
response.text 和response.content的区别
1. response.text
  1. 类型：str
  2. 解码类型：根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码
  3. 如何修改编码方式：response.encoding=”gbk”
2. response.content获取的是原始二进制数据
  1. 类型：bytes
  2. 解码类型：没有指定
  3. 如何修改编码方式：response.content.deocde(“utf8”)
response中编解码的解决
1. response.content.decode（"gbk"）
2. 推荐使用chardet包中detect()函数，获取编码方式，99%确定是GB231编码。但也可能使用的是GBK编码（GBK是GB2312的扩展，由于GBK是向下兼容GB2312，因此你检测到GB2312，则直接用GBK来编码/解码。

模拟登陆1
1. session类，来实现客户端和服务端的会话保持
2. 实例化一个session对象session = requests.session()
3. 让session发送get或者post请求response = session.get(url,headers)
4. 使用session登陆，服务器给浏览器配置cookie，使用带有cooki的session发起get请求
模拟登陆2
1. cookies字符串放在headers中
模拟登陆3
1. 使用带有cookies的session请求个人主页
2. cookies = {i.split("=")[0]:i.split("=")[1] for i in cookie.split("; ")}

requests.utils.dict_from_cookiejar（response.cookies）把cookie对象转化为字典
request.utils.cookiejar_from_dict({"BDORZ":"1233"})
request.utils.unquote(url)解码url地址，将编码的汉字转换回来
request.utils.quote(url)编码url地址
response = requests.get("https://www.12306.cn/mormhweb/ ", verify=False（验证关闭）)请求 SSL证书验证