利用协程爬网页，自动切换io 精典案例：

转载于 2018-09-15 07:36:00 发布 · 73 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/fgxwan/p/9649793.html

文章标签：

#python

本文介绍如何使用Python的gevent库进行IO密集型任务的异步处理，通过对比同步与异步爬虫的速度差异，展示了gevent在提高程序效率上的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先Python提供的协程库gevent好像并不能知道那些程序使用了io 所以要加一个补丁，mondey，以下同步和异步各爬一次的案例：

from urllib import request
import gevent,time
from gevent import monkey
monkey.patch_all() #把当前程序的所有的io操作给我单独的做上标记

def f(url):
print('GET: %s' % url)
resp = request.urlopen(url)
data = resp.read()
print('%d bytes received from %s.' % (len(data), url))

urls = ['https://www.python.org/',
'https://www.yahoo.com/',
'https://github.com/' ]
time_start = time.time()
for url in urls:
f(url)
print("同步cost",time.time() - time_start)
async_time_start = time.time()
gevent.joinall([
gevent.spawn(f, 'https://www.python.org/'),
gevent.spawn(f, 'https://www.yahoo.com/'),
gevent.spawn(f, 'https://github.com/'),
])
print("异步cost",time.time() - async_time_start)