
Filter
智布道
Nothing.
展开
-
手把手教你自定义IP访问次数限制器
前段时间弄爬虫的时候,在爬iteye的时候碰到过一个场景,Spider跑几次或者抓取的时间间隔小一点之后就会出现401错误 16-08-16 15:05:49,687 INFO us.codecraft.webmagic.Spider(Spider.java:307) ## Spider 843977358.iteye.com started!16-08-16 15:05:49,6...2016-08-16 17:44:30 · 1841 阅读 · 0 评论 -
手把手教你自定义IP访问次数限制器 (第二版)
第一版(点击这儿)写的有点冲冲忙忙,也没有考虑到线程安全方面的问题,在这儿先感谢博友cs6641468的建议,考虑线程安全问题,第二版将HashMap改为了线程安全的ConcurrentHashMap(暂留疑),关于cs6641468提到的filterLimitedIpMap方法,修改为了Task定时进行操作(虽然存在误差,但误差很小的话,基本可以忽略不),另外knight_black_bob...2016-08-18 10:44:18 · 520 阅读 · 0 评论