本篇博客是第四遍学习协程相关知识,我们在之前内容积累的基础上,新增加一个异步请求库,该库名称为 aiohttp
。
为了给大家演示 aiohttp
如何与 asyncio
进行搭配,本文采用代码对比形式进行展示。
异步协程主要用于提高 I/O 操作的效率,所以本次采集的站点依旧以图片为主。
初识 aiohttp 库 - 案例为网易公开课
aiohttp
是一个异步的 HTTP
客户端/服务端框架,它基于 asyncio
模块实现,在《爬虫 120 例》专栏中主要用其客户端能力,提高爬虫的采集速度。
接下来我们将该库与 requests
模块进行对比学习。
requests 模块同步采集 20 次网易公开课
import requests
import time
def get_html(