pipelines文件编写
首先应该导入items文件里的不同的item类
from NcepuSpider.items import ArticleViewsCountItem
from NcepuSpider.items import ArticleBodyItem
from NcepuSpider.items import NcepuNewsSpiderItem
然后通过if判断方式进行items类别筛选
def process_item(self, item, spider):
if isinstance(item, ArticleViewsCountItem):
print 1
elif isinstance(item, ArticleBodyItem):
print 2
elif isinstance(item, NcepuNewsSpiderItem):
print 3
return item
关键字isinstance
items文件类
class NcepuNewsSpiderItem(scrapy.Item):
class ArticleBodyItem(scrapy.Item):
class ArticleViewsCountItem(scrapy.Item):
本文介绍如何在Scrapy项目中使用pipelines进行不同类型的Item处理。通过实例演示了如何根据不同Item类型执行特定操作,如打印标识等。此方法有助于更好地管理和区分爬取的数据。
64万+

被折叠的 条评论
为什么被折叠?



