为spider指定不同的pipline

最新推荐文章于 2024-09-29 16:00:45 发布

原创最新推荐文章于 2024-09-29 16:00:45 发布 · 673 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

19 篇文章

订阅专栏

本文介绍了一种针对不同爬虫任务定制Pipeline的方法。通过判断爬虫名称实现数据存储逻辑的差异化处理，具体包括news和bsnews两种类型的数据入库流程。


为spider指定不同的pipline

def process_item(self, item, spider):
    if spider.name == 'news':
        #这里写存入 News 表的逻辑
        news = News()
        ...（省略部分代码）
        self.session.add(news)
        self.session.commit()
     elif spider.name == 'bsnews':
        #这里写存入 News 表的逻辑
        bsnews = BsNews()
        ...（省略部分代码）
        self.session.add(bsnews)
        self.session.commit()

      return item