Nutch内容过滤的实现[转]

网页内容过滤器实现

最新推荐文章于 2025-05-26 10:40:21 发布

原创最新推荐文章于 2025-05-26 10:40:21 发布 · 127 阅读

0 ·

CC 4.0 BY-SA版权

nutch 1.2 系统学习专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一种基于Java实现的网页内容过滤器，该过滤器能够检查网页标题和内容是否包含预设的过滤词汇，并据此决定是否保留网页文档。通过遍历过滤词汇列表并与网页内容进行比对，实现对敏感或不合规内容的有效过滤。

public class ContentFilter implements IndexingFilter {

    private Configuration conf;

    public ContentFilter() {
    }

    /***
    * 过滤包含过滤词的网页，如果包含过滤词，则返回null
    */
    public NutchDocument filter(NutchDocument doc, Parse parse, Text url,
            CrawlDatum datum, Inlinks inlinks) throws IndexingException {
        String content = parse.getText();//取得网页内容
        String title = parse.getData().getTitle();//取得网页标题
        List<String> filterWords = FilterWord.getFilterWords();//静态变量存储过滤词
        for(int i = 0; i < filterWords.size(); i++ ){
            if (content.contains(filterWords.get(i))) {
                doc = null;
            }
            if (title.contains(filterWords.get(i))) {
                doc = null;
            }
        }
        return doc;
    }

    public void setConf(Configuration conf) {
        this.conf = conf;
    }

    public Configuration getConf() {
        return this.conf;
    }

    public void addIndexBackendOptions(Configuration conf) {
        this.conf = conf;
    }
}