本文通过对比单线程、多线程与协程在Python爬虫应用中的表现，展示了协程如何显著提升爬虫效率。以实际案例分析，协程结合多线程使爬虫速度达到极致。
此文首发于我的个人博客：线程，协程对比和Python爬虫实战说明 — zhang0peter的个人博客
这篇文章写的是我对线程和协程的理解，有错误之处欢迎指出。
举一个餐馆的例子。我们把一个餐厅当做一个进程，如果这个餐厅只有1个服务员，那么这个餐厅是
单线程的；如果这个餐厅有2个服务员，那么这个餐厅是双线程的。
如果这个餐厅的服务员像海底捞的服务员一样，一次只服务一桌的客人，在这桌的客人离开前不会服务
下一桌的客人，那么我们称这个线程是阻塞的。如果一个服务员同时服务多桌客人，那么我们称这个线程
是非阻塞的。
实现了非阻塞的线程我们称之为协程，也就是说协程是依赖线程的存在。
下面就是Python的爬虫实战对比说明
本来想使用aiohttp库的，但为了对比效果更好，我使用requests库
我先写了一个本地的flask应用，在返回网页前等待3秒模拟真实网络爬虫
单线程爬虫：
共花费301秒
多线程爬虫：
共花费75秒
单线程协程爬虫：
只花费9秒
可以看出单线程的协程爬虫速度已经非常快了
多线程协程爬虫：
只花费3秒
总结
多线程和协程结合，能够使得爬虫的速度达到极致
代码地址：https://github.com/zhang0peter/python-coroutine
参考资料：
扫一扫
419
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
