Pyhon : 爬虫Requests高级用法--请求与响应对象

最新推荐文章于 2024-03-05 12:00:00 发布

ZhuCheng Xie

最新推荐文章于 2024-03-05 12:00:00 发布

阅读量390

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/weixin_44523387/article/details/90732383

本文介绍了Python的Requests库在爬虫中的高级用法，包括如何创建Request对象来请求服务器资源，以及如何获取和分析Response对象中包含的服务器响应头部信息。示例代码展示了如何获取并查看请求头和响应头。

请求与响应对象

任何时候进行了类似 requests.get() 的调用，你都在做两件主要的事情。其一，你在构建一个 Request 对象，该对象将被发送到某个服务器请求或查询一些资源。其二，一旦 requests 得到一个从服务器返回的响应就会产生一个 Response 对象。该响应对象包含服务器返回的所有信息，也包含你原来创建的 Request 对象。如下是一个简单的请求，从 Wikipedia 的服务器得到一些非常重要的信息：

r = requests.get(‘http://en.wikipedia.org/wiki/Monty_Python’)

如果想访问服务器返回给我们的响应头部信息，可以这样做：

r.headers
{‘content-length’: ‘56170’, ‘x-content-type-options’: ‘nosniff’, ‘x-cache’:
‘HIT from cp1006.eqiad.wmnet, MISS from cp1010.eqiad.wmnet’, ‘content-encoding’:
‘gzip’, ‘age’: ‘3080’, ‘content-language’: ‘en’, ‘vary’: ‘Accept-Encoding,Cookie’,
‘server’: ‘Apache’, ‘last-modified’: ‘Wed, 13 Jun 2012 01:33:50 GMT’,
‘connection’: ‘close’, ‘cache-control’: ‘private, s-maxage=0, max-age=0,
must-r