Scrapy自定制命令

scrapy自定制命令

https://www.cnblogs.com/wupeiqi/articles/6229292.html

步骤

1.在spiders同级创建任意目录,如:commands

2.在其中创建 crawlall.py 文件 (此处文件名就是自定义的命令)

这个命令是执行所有的爬虫

 from scrapy.commands import ScrapyCommand
    from scrapy.utils.project import get_project_settings


    class Command(ScrapyCommand):

        requires_project = True

        def syntax(self):
            return '[options]'

        def short_desc(self): # 输入--help时的命令说明
            return 'Runs all of the spiders'

        def run(self, args, opts):
            spider_list = self.crawler_process.spiders.list()
            for name in spider_list:
                self.crawler_process.crawl(name, **opts.__dict__)
            self.crawler_process.start()

3.在settings.py 中添加配置 COMMANDS_MODULE = ‘项目名称.目录名称’

4.在项目目录执行命令:scrapy crawlall

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值