nutch2.3.1 SolrDeleteDuplicates.java 去重时空指针崩溃

最新推荐文章于 2019-08-19 14:50:03 发布

原创最新推荐文章于 2019-08-19 14:50:03 发布 · 624 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nutch

爬虫专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一个基于Solr的文档迭代器实现方法。通过覆盖nextKeyValue方法，实现了从Solr文档集中读取非空digest字段的功能。每读取一个有效文档，迭代器将更新当前文档索引并设置文本值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

修改源代码如下：

    @Override
    public boolean nextKeyValue() throws IOException, InterruptedException {
        while(true){
            if (currentDoc >= numDocs) {
                return false;
            }
            SolrDocument doc = solrDocs.get(currentDoc);
            String digest = (String) doc.getFieldValue(SolrConstants.DIGEST_FIELD);
            if(digest == null || digest.isEmpty()){
                currentDoc++;
                continue;
            }
            text.set(digest);
            record.readSolrDocument(doc);
            currentDoc++;
            break;
        }
      return true;
    }