Python Scrapy爬虫多开

如果想要一个Scrapy项目里的多个爬虫通过一个命令就都运行，就需要修改crawl源码，开启蜘蛛多开模式。

1.在项目中的spiders同级目录下创建一个新文件，我这里命名为mycrawls，在该文件夹下创建一个Python文件，我这里为startspiders.py，在同级目录下再创建一个__init__.py文件。如下图所示：

2.在Python的安装目录下找到 D:\python36\Lib\site-packages\scrapy\commands\crawl.py，

我们点击进去看看可以发现蜘蛛通过，里面的run()方法运行，其中spname是爬虫的名字，所以我们可以修改里面的代码使得3爬虫得以多开。

import os
from scrapy.commands import ScrapyCommand
from scrapy.utils.conf import arglist_to_dict
from scrapy.utils.python import without_none_values
from scrapy.exceptions import UsageError


class Command(ScrapyCommand):

    requires_project = True

    def syntax(self):
        return "[options] <spider>"

    def short_desc(self):
        return "Run a spider"

    def add_options(self, parser):
        ScrapyCommand.add_options(self, parser)
        parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
                          help="set spider argument (may be repeated)")
        parser.add_option("