scrapy-redis分布式爬虫
https://blog.youkuaiyun.com/baoshuowl/article/details/79701303
准备工作
1.安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis
2.准备好一个没有BUG,没有报错的爬虫项目
3.准备好redis主服务器还有跟程序相关的mysql数据库
前提mysql数据库要打开允许远程连接,因为mys...
转载
2018-11-11 14:48:44 ·
152 阅读 ·
0 评论