协程-高I/O操作时的选择-多线程-高运算时的选择

最新推荐文章于 2021-07-03 09:55:43 发布

大驾C

最新推荐文章于 2021-07-03 09:55:43 发布

阅读量395

点赞数

分类专栏：协程-高I/O操作时的选择-多线程-高运算时的选择文章标签：协程-高IO操作时的选择-多线程-高运算

本文链接：https://blog.youkuaiyun.com/qq_36831776/article/details/75725824

版权

协程-高I/O操作时的选择-多线程-高运算时的选择专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种利用Python的gevent库来实现网站数据异步抓取的方法。通过打上monkey补丁，可以将原本同步的网络请求转换为异步模式，从而大大提高抓取效率。示例中演示了如何对多个网站发起并发请求并接收数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记得要加上monkey补丁，将网络库转为异步方式

#coding=utf-8

from gevent import monkey; 
import gevent
import urllib2

#有IO才做时需要这一句
monkey.patch_all()

def myDownLoad(url):
    print('GET: %s' % url)
    resp = urllib2.urlopen(url)
    data = resp.read()
    print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([
        gevent.spawn(myDownLoad, 'http://www.baidu.com/'),
        gevent.spawn(myDownLoad, 'http://www.jingdong.cn/'),
        gevent.spawn(myDownLoad, 'http://www.alibaba.com/'),
])