Python使用协程的方式调用爬虫去爬取相应的网站

最新推荐文章于 2024-01-23 20:08:43 发布

原创最新推荐文章于 2024-01-23 20:08:43 发布 · 328 阅读

0 ·

CC 4.0 BY-SA版权

Python 同时被 2 个专栏收录

125 篇文章

订阅专栏

个人学习笔记

35 篇文章

订阅专栏

本文介绍了一个利用Python的gevent库实现的简单并发网页爬取程序。通过使用协程，该程序能够同时从多个网站（如百度、腾讯、优快云）获取数据，显著提高了网页抓取的效率。

from gevent import monkey

# monkey.patch_all()

import gevent

from urllib.request import urlopen
def f(url):
    print('GET:%s' % url)
    resp = urlopen(url)
    data = resp.read()

    # with open('ue2.htm','wb') as f:
    #     f.write(data)
    print('%d bytes received from %s.' % (len(data),url))

# http://tcweb.mytongche.com

gevent.joinall([
    gevent.spawn(f,'https://www.baidu.com'),
    gevent.spawn(f,'https://www.qq.com'),
    gevent.spawn(f,'https://www.csdn.com')
])
# f('http://uyi2.com/team')