分布式爬虫没有push redis-key 但是却启动起来了

在我们改写一般的scrapy爬虫为scrapy-redis爬虫的时候,可能会遇到没有push redis-key,但是爬虫却起来原因

其中一个重要的原因可能就是start-requests方法被重写了,因为如果重写了之后,会默认最先调用这个方法,

解决办法:将start_request方法名改一下,改为parse解析方法,因为默认的解析函数就是这个函数,
当我们push redis-key之后,爬虫读取到redis-key,然后开始发送start_urls里面的请求,默认的第一个解析方法就是parse,

在分布式中,我们可以吧这个方法里面的函数体改为之前start_request函数体,这样默认解析方法就变成了之前的start_request方法,这样爬虫才会在我们push之后等待,
以上--------

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值