Python爬虫：scrapy直接运行爬虫

彭世瑜

于 2018-07-12 19:41:01 发布

阅读量1.4w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Python scrapy

本文为博主原创文章，欢迎转载，请注明出处

本文链接：https://blog.youkuaiyun.com/mouday/article/details/81021291

614 篇文章

订阅专栏

35 篇文章

订阅专栏

本文介绍了三种启动Scrapy爬虫的方法：直接在命令行输入指令、通过PyCharm运行配置文件及在爬虫脚本内嵌启动代码。这些方法各有优缺点，可根据实际需求选择使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一般教程中教大在命令行运行爬虫：

# 方式一

$ scrapy crawl spider_name

这样，每次都要切换到命令行，虽然可以按向上键得到上次运行的指令，不过至少还要敲一次运行命令

还有一种方式是单独配置一个文件，spider_name是具体爬虫名称，通过pycharm运行设置，不过每次都要改爬虫名称，而且不利于git提交

# 方式二

from scrapy import cmdline
args = "scrapy crawl spider_name".split()
cmdline.execute(args)

第三种方式和方式二类似，不同的是在每个爬虫文件最下面配置如下代码，

# 方式三

if __name__ == '__main__':
    from scrapy import cmdline
    args = "scrapy crawl spider_name".split()
    cmdline.execute(args)

可以直接执行脚本，当然如果是mac本的话可以用快捷键shift + ctrl + R