scrapy 同时爬取多url方法实例

最新推荐文章于 2024-03-14 06:19:07 发布

原创最新推荐文章于 2024-03-14 06:19:07 发布 · 1.1w 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy #爬虫

爬虫专栏收录该内容

27 篇文章

订阅专栏

本文介绍了一种使用Scrapy框架爬取糗事百科网站评论页面的实现方法，通过递归调用parse函数，实现了从第1页到第10页评论内容的爬取。案例详细展示了如何设计url模板，控制爬取页数，以及如何解析页面提取所需信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

案例

需求：爬取评论页面第1页到第10页内容 一共爬10个url

思路

递归调用parse 直到每个页面爬取完

方法

class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    # allowed_domains = ['www.qiushibaike.com/text']
    start_urls = ['https://www.qiushibaike.com/text/']

    # 设计一个url模板
    url = 'https://www.qiushibaike.com/text/page/%d/'
    pageNum = 1

    def parse(self, response):
        div_list = response.xpath("//div[@id='content-left']/div")
        for div in div_list:
            ....
            # 将item提交给管道
            yield item

        # 多url， 请求的手动发送
        if self.pageNum <= 13:  # 控制！否则无限递归了。。
            self.pageNum += 1
            print('爬第：%d 页' % self.pageNum)
            new_url = self.url % self.pageNum
            # callback 回调函数，页面进行解析
            yield scrapy.Request(url=new_url, callback=self.parse)