分布式爬虫

最新推荐文章于 2025-05-26 23:59:31 发布

原创最新推荐文章于 2025-05-26 23:59:31 发布 · 153 阅读

0 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

6 篇文章

订阅专栏

1，redis安装
修改配置文件redis-windows-conf
bind 127.0.0.1
改为
bind 127.0.0.1

protected-mode yes

改为：
#protected-mode yes
protected-mode no

2.启动redis
C:\office\xlsoft\redi>命令： redis-server.exe redis.windows.conf
[6808] 26 Sep 20:41:20.307 # Creating Server TCP listening socket *:6379: bind: No error

C:\office\xlsoft\redi> 命令：redis-cli
127.0.0.1:6379> shutdown
not connected> exit

C:\office\xlsoft\redi> 命令： redis-server.exe redis.windows.conf
看到图后说明启动成功

3.远程连接redis
指令：(默认端口号都是6379，可以不加)

	命令：redis-cli -h host -p port

windows下分布式安装命令

	pip install scrapy_redis

scrapy 与scrapy-redis区别：

scrapy是一个通用的爬虫框架，但是这个框架不支持分布式
scrapy_redis就是为了实现scrapy的分布式而诞生的，它提供
了一些基于redis的组件

分布式：10万条数据分给好5个人爬，每个人爬2万条数据，节约了时间，而且爬取的内容不会重复，不会重复的原因在于里面有一个组件，指纹去重组件