python 爬虫——部署scrapy-redis分布式爬虫及部署分布式爬虫后但是只能单机运行原因
1准备 :redis数据库,Python的scrapy-redis包,[mysql数据库]redis安装目录下redis.windows.conf 配置文件修改bind 0.0.0.0[或局域网内,外网的IP地址]
protected-mode no
2配置scrapy settings文件设置设置
SCHEDULER = "scrapy_redis.scheduler.Schedule...
原创
2018-09-27 13:11:25 ·
777 阅读 ·
1 评论