Nutch 遇见hits.getHits()出现java.lang.ArrayIndexOutOfBoundsException解决办法

j2mvc

于 2012-05-21 16:37:43 发布

阅读量714

点赞数

CC 4.0 BY-SA版权

分类专栏： JAVA开发文章标签： query

本文链接：https://blog.youkuaiyun.com/gyjavaer/article/details/7587764

JAVA开发专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了Nutch搜索过程中遇到setMaxHitsPerDup设置导致的ArrayIndexOutOfBoundsException错误的原因及解决方法。通过设置query.getParams().setMaxHitsPerDup(0)，可以有效解决结果集中超过指定重复站点数量的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

setMaxHitsPerDup()java.lang.ArrayIndexOutOfBoundsException: 20
	org.apache.nutch.searcher.Hits.getHits(Hits.java:63)
        ...
 
这个原因很可能是因为设置了setMaxHitsPerDup()的原因
在nutch定义的变量是hitsPerSite；

比如这样设置：
query.getParams().setDedupField(“site");
setMaxHitsPerDup(2)；
那么结果集中只显示2个相同站点的记录。


解决办法是，在遇到hits.getTotal()>hits.getLength()的时候，设置
query.getParams().setMaxHitsPerDup(0);
hits = bean.search(query);