小五的世界

一、Scrapyd简介和安装1、认识scrapyd按一般的部署方法，部署分布式爬虫需要每个服务器复制代码、用命令行运行，非常繁杂，管理起来也不方便，如爬虫版本更新，可能需要所有服务器进行具体代码的更新。另外，用户也不能方便地查看各个爬虫的运行情况。Scrapyd：一个部署和运行Scrapy爬虫的应用程序，它使用户能在网页查看正在执行的任务，能通过JSON API部署（上传）工程和控制工程中的爬虫，如新建爬虫任务、终止爬虫任务等。2、安装命令行安装：pip install scrapyd运行

一、认识与安装scrapy_redis库1、认识scrapy_redis库scrapy_redis库：提供了所需的功能，scrapy_redis改写了scrapy的调度器、队列等组件，利用这个库可以方便地实现scrapy分布式架构。2、安装scrapy_redis库pip install scrapy_redis二、代码编写1、修改settings中的配置信息（1）替换scrapy调度器，使用scrapy_redis调度。SCHEDULER = “scrapy_redis.schedu