爬虫系列之Requests库入门

最新推荐文章于 2024-04-08 21:56:55 发布

原创最新推荐文章于 2024-04-08 21:56:55 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

Python Learning 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了Python爬虫库Requests的使用，包括get()方法、Request和Response对象、异常处理、HTTP协议以及常用HTTP操作。重点讲解了Requests库的方法、参数设置，并提供了爬取网页的通用代码框架。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Requests 库的 get() 方法

1.requests.get()方法：
这里写图片描述

相关参数：

get(url, params=None, **kwargs)：
url: 拟获取页面的url链接
params: url中的额外参数，字典或字节流格式，可选
**kwargs: 12个控制访问的参数

函数源代码如下：

def get(url, params=None, **kwargs):
    """Sends a GET request.

    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary or bytes to be sent in the query string for the :class:`Request`.
    :param \*\*kwargs: Optional arguments that ``request`` takes.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response
    """

    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)

由上面最后一行代码可知，get()方法实际上是由基础方法request()方法支撑实现的，其他几个主要方法也是如此。因此，Requests库中实际上只有一个方法，即基础方法request()，其他六个方法都是在它的基础上实现的。

二、Requests库的两个重要对象

Requests库的两个重要对象是Request和Response对象。

r = request.get(url)
这行代码构建了一个象服务器请求资源的Request对象，并返回一个包含服务器资源的Response对象。

这里写图片描述

Response对象包含服务器返回的所有信息，也包含请求的Request信息。Response对象有如下属性：
1) status_code : HTTP请求的返回状态，200表示连接成功，404表示失败。
2) text : HTTP的响应内容(字符串形式)，即url对应的页面内容。
3) encoding : 从HTTP header中猜测的响应内容编码形式。
4) apparent_encoding : 从内容中分析出的响应内容编码方式(备选编码方式)。
5) content : HTTP的响应内容(二进制形式)。

这里写图片描述

来比较一下 encoding 与 apparent_encoding 这两种性质：

r.encoding : 从 HTTP header中猜测的响应内容编码方式。如果 header 中不存在字符集(charset)，则认为编码为ISO‐8859‐1。r.text 根据 r.encoding 显示网页内容。

r.apparent_encoding : 根据网页内容分析出的编码方式，可以看作是r.encoding的备选。

三、Requests 库的异常

1) requests.ConnectionError : 网络连接错误异常，如DNS查询失败、拒绝连接等。
2) requests.HTTPError : HTTP错误异常。
3) requests.URLRequired : URL缺失异常。
4) requests.TooManyRedirects : 超过最大重定向次数，产生重定向异常。
5) requests.ConnectTimeout : 连接远程服务器超时异常。
6) requests.Timeout : 请求URL超时，产生超时异常。

四、HTTP 协议

HTTP : Hypertext Transfer Protocol, 超文本传输协议。

HTTP 是一个基于“请求于响应”模式的、无状态的应用层协议，HTTP 协议采用 URL 作为定位网络资源的标识。

URL 是通过 HTTP 协议存取资源的 Internet 路径，一个 URL 对应一个数据资源。URL 格式如下：

http://host[:port][path]

host : 合法的 Internet 主机域名或 IP 地址
port : 端口号，缺省端口为80
path : 请求资源的路径

URL 实例：
http://www.baidu.com
http://220.181.111.188/duty

五、HTTP 协议对资源的操作

主要有如下几种操作：
1) GET : 请求获取URL位置的资源
2) HEAD : 请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
3) POST : 请求向URL位置的资源后附加新的数据
4) PUT : 请求向URL位置存储一个资源，覆盖原URL位置的资源
5) PATCH : 请求局部更新URL位置的资源，即改变该处资源的部分内容
6) DELETE : 请求删除URL位置存储的资源

PATCH 和 PUT 的区别：
假设URL位置有一组数据 UserInfo，包括 UserID、UserName 等20个字段。需求：用户修改了 UserName，其他不变。
• 采用PATCH : 仅向 URL 提交 UserName 的局部更新请求。
• 采用PUT : 必须将所有20个字段(即所有信息)一并提交到 URL，未提交字段被删除。
PATCH的最主要好处：节省网络带宽。

HTTP 协议通过 URL 和命令管理资源，操作独立无状态，网络通道及服务器成为了黑盒子，可以通过下图理解这一点：
这里写图片描述

六、Requests 库主要方法解析

这里写图片描述

利用 Requests 库方法发送网络请求：

r = requests.get('https://github.com/timeline.json')
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")

head()方法实例：
这里写图片描述

request() 方法解析：

requests.request(method, url, **kwargs)

method : 请求方式，对应get/put/post等7种
url : 拟获取/更新/删除页面的url链接
**kwargs: 控制访问的参数，共13个

method : 请求方式

# 下面'get'这些方式也可写成'GET'.
r = requests.request('get', url, **kwargs)
r = requests.request('head', url, **kwargs)
r = requests.request('post', url, **kwargs)
r = requests.request('put', url, **kwargs)
r = requests.request('patch', url, **kwargs)
r = requests.request('delete', url, **kwargs)
r = requests.request('options', url, **kwargs)

**kwargs : 控制访问的参数，均为可选项，有如下类型(共13种)：

params: 字典或字节序列，作为参数增加到url中
data: 字典、字节序列或文件对象，作为Request的内容
json: JSON格式的数据，作为Request的内容
headers: 字典，HTTP定制头
cookies: 字典或CookieJar，Request中的cookie
auth: 元组，支持HTTP认证功能
files: 字典类型，传输文件
timeout: 设定超时时间，秒为单位
proxies: 字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects: True/False，默认为True，重定向开关
stream: True/False，默认为True，获取内容立即下载开关
verify: True/False，默认为True，认证SSL证书开关
cert: 本地SSL证书路径

其它方法

requests.get(url, params=None, **kwargs)
requests.head(url, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.delete(url, **kwargs)

在为 URL 的查询字符串(query string)传递某种数据时，如果你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面，例如， httpbin.org/get?key=val。Requests 允许使用 params 关键字参数，以一个字符串字典来提供这些参数。举例来说，如果你想传递 key1=value1 和 key2=value2 到 httpbin.org/get ，那么你可以使用如下代码：
(注意字典里值为 None 的键都不会被添加到 URL 的查询字符串里)

import requests
payload_1 = {'key1': 'value1', 'key2': 'value2'}
payload_2 = {'key1': 'value1', 'key2': ['value2', 'value3']}
r1 = requests.get("http://httpbin.org/get", params=payload_1)
r2 = requests.get("http://httpbin.org/get", params=payload_2)
print(r1.url)
print(r2.url)
"""
结果如下：
https://httpbin.org/get?key2=value2&key1=value1
https://httpbin.org/get?key2=value2&key2=value3&key1=value1
"""

七、爬取网页的通用代码框架

import requests

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        # 如果状态不是200，引发HTTPError异常
        r.raise_for_status()    
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

raise_for_status()在方法内部判断r.status_code是否等于200，不需要
增加额外的if语句，该语句便于利用try‐except进行异常处理。

示例1：正常情况

import requests
url = "http://www.baidu.com"
print(getHTMLText(url))         # 调用上面的函数

结果如图(后面内容还有部分未截图)：
这里写图片描述

示例二：异常情况

import requests
url = "www.baidu.com"
print(getHTMLText(url))         # 调用上面的函数

"""
结果如下：
产生异常
"""

【参考】
北京理工大学网络公开课《Python网络爬虫与信息提取》
Requests库官网/快速上手