qq_41082423的博客

       前言：在上两篇博客中，我们解决了大量信息的爬取问题分布式爬虫，用scrapy_redis把项目分别部署放到多个远程服务器上，提高了爬取数据的速度。又做到了使用scrapyd，在远程服务器上安装scrapyd,启动scrapyd服务，把scrapy项目通过scrapyd打包上传到远程服务主机上，然后我们就可以通过请求scrapyd提供的各种API去控制爬虫项目的运行、停止或删除等操作！...

大家都知道scrapy是一个快速高效爬去网页信息的爬虫框架，但是当面对大量的信息大量的url（几千几万等以上），用一个服务器爬还是很慢的，所以尼就出现了一个项目多个服务器共同爬去的方法，就是分布式，即主从服务器，一个主机控制运行暂停等操作，多个从属服务器爬去数据，从属服务器只是用来帮忙爬去数据，从主机服务器那里拿url，再返回响应（包含信息或者新的url），那每个从属服务器每次拿的url怎么保证不...