探讨scrapy当中的pipeline何时获取item。

最新推荐文章于 2025-07-22 10:17:46 发布

原创最新推荐文章于 2025-07-22 10:17:46 发布 · 3.3k 阅读

1 ·

CC 4.0 BY-SA版权

Scrapy 专栏收录该内容

0 篇文章

订阅专栏

在Scrapy爬虫运行中，遇到pipeline无法获取item的问题。通过代码调试发现，pipeline的调用发生在spider的parse()方法内。只有在获取next_page_url之前yield item，pipeline才能接收到item并进行处理。因此，pipeline在返回item给引擎时被触发，处理后的item将继续传递给下一个item。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题来自于在运行spider过程中，pipeline当中写入的数据库存储过程始终得不到item传递的数据，经调试，发现了pipeline被调用的机制。

写一段代码来测试：

spider.py:

import scrapy
from items import Work1Item #自定义的item，用于结构化数据

class Work1Spider(scrapy.Spider):
        name = 'work1'
        start_urls = [
            'http://quotes.toscrape.com/',
        ]
	
	def parse(self, response):
	    for quote in response.xpath('//div[@class="quote"]'):
	        item = Work1Item()
		    item['author'] = quote.xpath('.//small[@class="author"]/text()').extract_first()
		    item['tags'] = quote.xpath('.//div[@class="tags"]/a[@class="tag"]/text()').extract()
	        item['quote'] = quote.xpath('./span[@class="text"]/text()').extract_first(）
		next_page_url = response.xpath('//li[@class="next"]/a/@href').extract_first()
		if next_page_url is not None:
		        yield scrapy.Request(response.urljoin(next_page_url))

pipeline.py:

class Work1Pipeline(object):
        def process_item(self, item, spider):
                print item
                return item

settings.py当中开启pipeline:

ITEM_PIPELINES = {
    'work1.pipelines.Work1Pipeline': 300,
}

运行结果发现item并没有被print。

也就是说在某片代码中缺少了成分，使得pipeline并没有获取到item。

经过调试发现在spider.py中的parse()内部，在我们得到next_page_url之前，加上“yield item”，一切就搞定了。

所以，pipeline是在爬取过程中返回item时调用的，pipeline对item处理后返回item，以便对下一个item进行处理。