Gerapy 部署分布式爬虫项目详解

Gerapy简介

根据说明，Gerapy 应当是一款国人开发的是一款分布式爬虫管理框架（有中文界面） 。支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。

Gerapy作用

Gerapy 可以帮助我们：

1. 更方便地控制爬虫运行
2. 更直观地查看爬虫状态
3. 更实时地查看爬取结果
4. 更简单地实现项目部署
5. 更统一地实现主机管理
6. 更轻松地编写爬虫代码(几乎没用,感觉比较鸡肋)

Gerapy安装

如何下载

1.git下载 链接： https://github.com/Gerapy/Gerapy.git 。
2.用pip3 install gerapy ，这里要注意自己的python 环境。
pip命令演示如下：

$pip install gerapy
$gerapy 查看是否安装成功

成功信息：

    Usage:
      gerapy init [--folder=<folder>]
      gerapy migrate
      gerapy createsuperuser
      gerapy runserver [<host:port>]

Gerapy使用

首先我们创建一个目录用来存放我们的Gerapy项目，然后在保持shift键按下的状态下右击，点