Scrapy实战：使用IDE工具运行爬虫

weixin_30411997

于 2019-01-23 10:06:00 发布

阅读量235

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫 python 开发工具

原文链接：http://www.cnblogs.com/sanduzxcvbnm/p/10307399.html

本文介绍了一种在IDE中运行Scrapy爬虫的方法，通过在PyCharm中执行特定Python脚本，实现与命令行相同的效果，方便了爬虫程序的调试与运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一般我们运行爬虫程序都是使用命令行，比如：scrapy crwal sobook。不过这多少有些不方便，可以使用下面的方法使用IDE的方式运行爬虫

我这边使用的是pycharm软件，在pycharm里运行这个文件就相当于使用命令行运行爬虫了。

#!/usr/bin/env python
#-*- coding: utf-8 -*-

# 注意这个文件在项目的根目录，也就是scrapy.cfg文件所在
# 这里的sobook就是爬虫的名字
# 在pycharm里运行这个文件就相当于使用命令行运行爬虫了

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'sobook'])