gevent初学，先来启动一个简单的爬虫

最新推荐文章于 2022-07-11 07:35:00 发布

回忆不说话

最新推荐文章于 2022-07-11 07:35:00 发布

阅读量413

点赞数

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/qq_39138295/article/details/89882389

版权

爬虫专栏收录该内容

29 篇文章

订阅专栏

代码如下：
from gevent import monkey
import gevent.pool
import multiprocessing
# 在进行IO操作时，默认切换协程
monkey.patch_all()
import requests
# 调用了爬虫接口
def run_Spider(i):
    url = 'http://127.0.0.1:5000'
    res = requests.get(url)
    print('正在爬取第{}个网页'.format(i))
    return res


if __name__ == '__main__':
    
    import time
    startTime = time.time()
    pool = gevent.pool.Pool(100)
    threads = []
    for i in range(0,100):
        threads.append(pool.spawn(run_Spider, i))
    gevent.joinall(threads)
    endTime = time.time()
    print('程序耗时{}'.format(endTime-startTime))#17.031937837600708
    #5.2981648445129395