python3爬虫（二）

Zcoder`Blog

于 2019-07-27 13:26:48 发布

阅读量1.1w

点赞数

分类专栏： Python3 文章标签： Py3爬虫请求代理

本文链接：https://blog.youkuaiyun.com/qq_40791253/article/details/94970791

版权

本文详细介绍了Python3爬虫中关于请求的多种方式，包括发送简单请求、带Header和参数的请求，POST请求的实现，以及如何使用代理IP和携带Cookie。还探讨了Session类在处理会话保持和登录状态中的应用，帮助读者深入理解爬虫请求过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

判断请求是否成功

assert response.status_code == 200

url 编码

https://www.baidu.com/s?wd=%E7%BC%96%E7%A8%8B%E8%AF%AD%E8%A8%80

字符串格式化的另一种方式

"学习{}编程语言".format("python")

requests模块发送带headers的请求和带参数的请求

发送简单的请求

需求：通过requests向百度首页发送请求，获取百度首页的数据

response = requests.get(url)

response的常用方法：

response.text
response.content
response.status_code
response.request.headers
response.headers

In [1]: import requests

In [2]: response = requests.get("http://www.baidu.com")

In [3]: response.status_code
Out[3]: 200

In [4]: assert response.status_code == 200

In [5]: assert response.status_code == 300
---------------------------------------------------------------------------
AssertionError                            Traceback (most recent call last)
<ipython-input-5-245507ec34d1> in <module>
----> 1 assert response.status_code == 300

AssertionError:
In [6]: response.headers
Out[6]: {
   'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform'