一个爬虫项目里有多个爬虫，如何识别数据来源

转载于 2018-11-22 20:01:00 发布 · 204 阅读

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zhiliang9408/p/10003555.html

文章标签：

本文介绍在爬虫项目中如何识别数据来源于哪个具体爬虫。提供了两种方法：一是在爬虫的parse函数中为数据添加标识字段；二是利用pipelines.py中的process_item函数通过spider的属性进行判断。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：在一个爬虫项目里有多个爬虫进行数据的爬取，如何在pipeline中识别数据是来自哪个爬虫的，

方法：

方法一：在爬虫的parse函数下，对爬取的数据添加一个标识字段：

1 def parse(self, response):
2     item["come_from"]="spider_name"

方法二：在pipelines.py中的process_item函数里的spider的属性来判断：

1 class MyspiderPipeline(object):
2     def process_item(self, item, spider):
3         if spider.name=="spider_name":#spider_name是自己定义的爬虫名
4

转载于:https://www.cnblogs.com/zhiliang9408/p/10003555.html