Python爬虫：scrapy直接运行爬虫

一般教程中教大在命令行运行爬虫：

# 方式一

$ scrapy crawl spider_name

这样，每次都要切换到命令行，虽然可以按向上键得到上次运行的指令，不过至少还要敲一次运行命令

还有一种方式是单独配置一个文件，spider_name是具体爬虫名称，通过pycharm运行设置，不过每次都要改爬虫名称，而且不利于git提交

# 方式二

from scrapy import cmdline
args = "scrapy crawl spider_name".split()
cmdline.execute(args)

第三种方式和方式二类似，不同的是在每个爬虫文件最下面配置如下代码，

# 方式三

if __name__ == '__main__':
    from scrapy import cmdline
    args = "scrapy crawl spider_name".split()
    cmdline.execute(args)

可以直接执行脚本，当然如果是mac本的话可以用快捷键shift + ctrl + R