【100天精通python】Day42：python网络爬虫开发_HTTP请求库requests 常用语法与实战

目录

1 HTTP协议

2  HTTP与HTTPS

3 HTTP请求过程

 3.1 HTTP请求过程

3.2 GET请求与POST请求

3.3 常用请求报头

3.4 HTTP响应

4 HTTP请求库requests 常用语法

4.1 发送GET请求

 4.2 发送POST请求

4.3 请求参数和头部

4.4 编码格式

4.5 requests高级操作-文件上传

4.6 requests高级操作-获取cookie

4.7 request高级操作-证书验证

5 实战

利用requests 库抓取2023年高考新闻的标题和链接

---

1 HTTP协议

        HTTP协议（Hypertext Transfer Protocol）： HTTP是一种用于在客户端和服务器之间传输数据的协议。它基于请求-响应模型，客户端发送HTTP请求，服务器返回HTTP响应。HTTP协议主要用于Web浏览器和服务器之间的通信，用于获取、传输和展示Web页面和资源。

        在网络爬虫中，HTTP（Hypertext Transfer Protocol）协议起着至关重要的作用，它是用于在客户端和服务器之间传输数据的协议。下面是HTTP协议在爬虫中的一些关键作用：

1. 获取网页内容： 爬虫使用HTTP协议来向服务器发送请求，以获取网页的内容。通过发送GET请求，爬虫能够请求服务器返回网页的HTML代码。

2. 发送请求： 爬虫可以使用不同的HTTP请求方法，如GET、POST、PUT等，来向服务器发送不同类型的请求。GET请求用于获取资源，而POST请求用于提交数据，PUT请求用于更新资源࿰