基于scrapy_redis部署分布式爬虫

                       #基于scrapy_redis部署分布式爬虫

1.使用命令行工具下载工具包 scrapy_redis

准备工作，主机需要开启redis服务，进入redis目录，在命令行工具中输入
redis-server redis-windows.conf

3.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器

4.修改spider爬虫文件

5.如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接，如果要在mysql中远程存储，需要在mysql中打开权限

6.配置远程连接的MySQL及redis地址

7.另开启一个cmd，在redis目录下输入redis-cli -h 主机域名 -p 6379
然后回车出现 主机域名> （与此同时从属机运行爬虫）

8.当从属机成功运行爬虫并暂停等待接收请求的时候，命令行中lpush 起始网址，回车。分布式爬虫就部署好了。
9.打开mysql，redis数据库，查看有没有存入数据。如果过程出现问题，请细心检查以上几步有没有配置完善，实在不行，从第一步开始从头部署。

分布式用到的代码应该是同一套代码
1） 先把项目配置为分布式
2） 把项目拷贝到多台服务器中
3） 把所有爬虫项目都跑起来
4） 在主redis-cli中lpush你的网址即可
5） 效果：所有爬虫都开始运行，并且数据还都不一样