scrapy高级用法之自动分页

最新推荐文章于 2025-04-12 15:50:44 发布

weixin_33910460

最新推荐文章于 2025-04-12 15:50:44 发布

阅读量349

点赞数 1

文章标签： python 前端 ViewUI

原文链接：https://my.oschina.net/u/2351685/blog/612940

版权

本文介绍了一个使用Scrapy框架实现的分页爬虫案例，该爬虫针对SegmentFault网站进行设计，能够自动翻页并抓取指定类型的问题详情。文章提供了完整的Python代码示例，包括如何利用PyQuery解析网页内容、定义爬虫规则及链接提取等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

原理

根据规从页面中提取到“下一页”或“其他分页”链接

用到模块

  from pyquery import PyQuery as pq
  from scrapy.contrib.spiders import CrawlSpider, Rule
  from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor

完整代码

# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor


class SegSpider(CrawlSpider):
    name = "seg"
    allowed_domains = ["segmentfault.com"]
    start_urls = (
        'http://segmentfault.com/t/html5?type=newest&page=1',
    )

    rules = (
        Rule(SgmlLinkExtractor(allow=('\/t\/html5\?type=newest\&page=\d', ))),
        Rule(SgmlLinkExtractor(allow=('\/q\/\d+', )), callback='parse_item'),
    )

    def parse_item(self, response):
        html = response.body
        v = pq(html)
        item = dict()
        item['url'] = response.url
        item['title'] = v('title').text()
        yield item

转载于:https://my.oschina.net/u/2351685/blog/612940