Gerapy部署scrapy爬虫框架

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。

 

• gerapy的初始化配置：

1.安装gerapy框架。

$ pip install gerapy   #在cmd中安装这个包

$ pip install scrapyd

 

2检查gerapy是否可用。

$ gerapy    #安装成功后输入gerapy

3.初始化gerapy的数据库文件及工程文件，生成gerapy框架的工作目录(projects)。(在哪执行命令初始化，一般进入D盘根目录即可。命令执行完成，进入D:\gerapy文件夹，会有一个projects文件夹。)

$ gerapy init

4.先进入gerapy目录，再执行gerapy数据库的初始化，建立相关的数据库表。里面保存着各个主机配置信息，部署版本等。