【Python爬虫】分布式爬虫

分布式爬虫

单节点爬虫存在的问题：

（1）服务器之间没有通信，每个服务器的待爬网页还需要手动分配

（2）存储数据还是在各个服务器上，并没有集中存储到某一个服务器或数据库中

---

安装Redis

Redis是一个基于内存的Key-Value数据库，支持的数据类型有string、lists、sets、zsets。这些数据类型都支持push/pop、add/remove以及取交集、并集、差集等操作，对这些操作都是原子性的。因此，使用Redis可以很轻松地实现高并发的数据访问。

修改Redis配置

默认情况下，访问Redis服务器是不需要密码的，可以直接打开Redis文件夹中redis.windows-service.conf，在其中取消注释requirepass, 将该变量的值设置为自定义的密码。

默认情况下，Redis服务器不允许远程访问，只允许本机访问，所以需要设置远程打开访问的功能。注释redis.windows-service.conf中注释bind变量。

修改之后，启动redis，redis-service --service-start，然后在cmd中键入：redis-cli -a password -h 你的IP地址 -p 6379。

使用Redis Desktop Manager可视化管理Redis数据库。<