当只抓取一个站点时，由于分配策略的关系，只会有一个线程去抓取，导致队列很大，抓取缓慢，3.0以后增加了parallel queue设置：
SurtAuthorityQueueAssignmentPolic下有个parallelQueues
打开注释修改这个值就可以
heritrix 3.1.1并行抓取
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
