爬虫实战六、Scrapy爬虫部署工具Scrapyd服务搭建

一、Scrapyd简介

scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行。

scrapyd可以管理多个项目，并且每个项目允许有多个版本，但是只有最新的版本会被用来运行爬虫。

最方便的版本管理就是利用VCS工具来记录你的爬虫代码，版本比较不是简单的通过字母排序，而是通过智能的算法，和distutils一样，例如: r10比r９更大。

scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们。

二、Scrapyd安装

2-1、环境准备（很重要）

• 装有Scrapy的Linux电脑（运行爬虫程序使用），用于安装scrapyd服务。具体参考之前的文章：爬虫实战五、Scrapy生产环境（CentOS7+Anaconda3）搭建

• 装有Scrapy的Win电脑（开发爬虫程序使用），用于安装scrapyd-client。具体参考之前的文章：爬虫实战一、Scrapy开发环境（Win10+Anaconda3）搭建

2-2、Linux安装scrapyd服务

执行以下命令安装

pip install scrapyd