
解决方案
coffejoy
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
分布式定时任务解决方案
背景服务有定时任务,当服务部署到多个节点时,每个节点在同一个时间点都会执行相同的定时任务,需要做的是,让同一个时间点,每一个定时任务只在一个节点上执行。解决方案思路单独设置任务调度服务使用Redis实现使用Elastic-Job框架实现使用LTS框架实现方案一:单独设置任务调度服务任务调度服务部署在单结点,定时任务以Http请求的方式去向网关调用任务请求,网关将请求分发到集群中...原创 2019-04-17 06:57:43 · 1116 阅读 · 1 评论 -
IP代理池设计与解决方案
背景爬虫服务请求量大,为了应对反爬措施,增加爬虫的爬取效率和代理IP使用率,需要设计一个IP代理池,满足以下需求:定时任务获取第三方代理及时剔除IP代理池中失效的IP业务隔离IP若IP未失效,但对某个业务来说,IP被封,需要针对业务,隔离此IP均衡使用IP避免IP使用频率不均问题需求1:及时剔除IP代理池中失效的IP超过有效时间,自动失效每个IP都有固定的有效时...原创 2019-04-17 07:24:49 · 697 阅读 · 0 评论