scrapy如何在Request之间传递参数

最新推荐文章于 2024-08-18 23:35:50 发布

weixin_33826268

最新推荐文章于 2024-08-18 23:35:50 发布

阅读量324

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：https://my.oschina.net/u/2396236/blog/1801840

本文介绍了一个使用Python编写的简单爬虫示例，该爬虫能够从指定网站抓取页面并进一步解析详细信息。示例代码展示了如何定义爬虫类、设置起始URL以及如何通过回调函数处理响应。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

class HelloSpider(BaseSpider):    
    name = 'hellospider'    
    start_urls = (    
        'http://aaa.com/page1',    
        'http://aaa.com/page2',    
        )    
    
    def parse(self, response):    
        for item_url in item_urls:    
            yield Request(url=item_url, callback=self.parse_item)    
    
    def parse_item(self, response):    
        item = MyItem()    
        #通过meta={'item': item}传递参数
        yield Request(url=item_details_url, meta={'item': item},    
            callback=self.parse_detailsinfo)    
    
    def parse_detailsinfo(self, response):    
        #通过response.meta['item']获取参数
        item = response.meta['item']    
        return item

转载于:https://my.oschina.net/u/2396236/blog/1801840