分布式爬虫共享cookies 方案分析

在采集需要登录的网站时，需要httpclient 保持cookies

单节点情况下可以设计cookie 缓存在内存中，每次使用从缓存中获取，分布式爬虫每次采集请求可能分发到不同的机器上，便会导致请求失败

 

• 根据缓存启发 可以把本地cookie 缓存改写成 缓存服务，多台机器从缓存服务获取cookie

      本地缓存可以保存某个client  ，免去每次请求组装client  ，改写的线上缓存服务也可以直接提供client

      

 

• 将cookie 存入数据库（redis）不同机器从数据库获取cookie

       cookies 是一组key -value 值，记录用户状态

       可以使用数据保存，设计一个数据结构保存每次请求之后的cookie 到redis  并本剧 cookie  失效时间

       设置失效时间

 

相比之下，redis 共享方案代码量更少，实现更便捷。

缓存服务功能更加强大，扩展性更好

 

如果遇到网站记录登录ip 就需要 访问使用同一个ip

 

 

 

转载于:https://my.oschina.net/PagodaTree/blog/915302