这篇博客介绍了如何利用aiohttp库与asyncio进行异步请求，以提高Python爬虫的效率。通过对比requests模块，展示了aiohttp在采集网易公开课数据时的速度优势。此外，还讲解了aiohttp的基本用法，包括请求对象、响应对象以及发送请求的参数。最后，博主编写了一个爬取bensound网站mp3文件的示例，强调了设置连接池和超时参数的重要性。
本篇博客是第四遍学习协程相关知识，我们在之前内容积累的基础上，新增加一个异步请求库，该库名称为 aiohttp。
为了给大家演示 aiohttp 如何与 asyncio 进行搭配，本文采用代码对比形式进行展示。
异步协程主要用于提高 I/O 操作的效率，所以本次采集的站点依旧以图片为主。
初识 aiohttp 库 - 案例为网易公开课
aiohttp 是一个异步的 HTTP 客户端/服务端框架，它基于 asyncio 模块实现，在《爬虫 120 例》专栏中主要用其客户端能力，提高爬虫的采集速度。
接下来我们将该库与 requests 模块进行对比学习。
requests 模块同步采集 20 次网易公开课
import requests
import time
def get_html(
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
