在 Python 爬虫开发中,requests 和 aiohttp 是两个常用的库。requests 库提供了简洁而强大的 HTTP 请求接口,而 aiohttp 则是基于 asyncio 的异步 HTTP 客户端 / 服务器框架。本文将详细介绍这两个库的用法,并通过实际项目案例展示它们的应用。
一、requests 库
安装和基本用法
使用 pip 命令可以轻松安装 requests 库:
pip install requests
安装完成后,可以使用以下代码发送 GET 请求:
import requests
response = requests.get('https://www.example.com')
print(response.text)
请求参数和头部信息
可以通过传递参数和头部信息来定制请求:
import requests
params = {'key1': 'value1', 'key2': 'value2'}
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get('https://www.example.com', params=params, headers=headers)
print(response.text)
响应处理
requests 库提供了丰富的响应处理方法,例如获取响应状态码、响应头部信息、响应内容等:
import requests
response = requests.get('https://www