多协程+队列爬取时光热榜top100电视剧-优快云博客

本文介绍了一种使用多协程技术实现的异步爬虫，该爬虫能够高效地爬取时光网热榜Top100电视剧的相关信息。通过创建多个协程并发请求网页，实现了对数据的有效抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码的思路就是创建五只可以异步爬取的爬虫（当然，数量你来定），爬取了时光热榜top100电视剧剧名（导演啊主演啊简介啊都好爬的，但是我实在懒得爬，主要是学习多协程）
话不多说代码贴上

from gevent import monkey
#从gevent库里导入monkey模块。
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。
import gevent,time,requests
#导入gevent、time、requests
from gevent.queue import Queue
#从gevent库里导入queue模块
from lxml import etree

def download(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
    time.sleep(1)
    r = requests.get(url,headers=headers)
    r.encoding='utf-8'
    return etree.HTML(r.text)

basic_url='http://www.mtime.com/top/tv/top100/'

add_list=[]
for i in range(1,11):
    if i==1:
        add_list.append('')
    else:
        strr='index-{}.html'.format(str(i))#注意i要变成str的
        add_list.append(strr)

work=Queue()
for i in add_list:
    work.put_nowait(basic_url+i)

def spider_detail(url):
    selector=download(url)
    for i in range(1,11):
        name = selector.xpath('//*[@id="asyncRatingRegion"]/li[{}]/div[3]/h2/a/text()'.format(str(i)))[0]
        print(name)

def crawler():
    while not work.empty():
        url = work.get_nowait()
        spider_detail(url)

task_list=[]
for i in range(5):
    task = gevent.spawn(crawler)
    task_list.append(task)

try:
    gevent.joinall(task_list)
except:
    pass

最后是对简单的多协程的总结，分为以下步骤

#总结：第一步，得到所有url
#第二步，创建一个空的queue，把所有url写进去
#第三步，创建一个函数crawler，可以爬取所有queue中的url中的信息
#第四步，for i in range(x)，x代表有几个任务
#第五步，分配任务。任务=gevenet.spawn(crawler)，并把所有任务加到list里面
#最后，用gevent.joinall执行所有任务