问读nutch 1.2 解析html的插件 HtmlParser插件-优快云博客

本文介绍了一种使用SAX解析器将网页内容转化为DocumentFragment的方法，并详细展示了如何从解析后的文档中抽取元数据如meta标签和标题。此外，还讨论了如何运行过滤器来进一步处理解析结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分为以下几个部分：

1 解析成Dom 通过sax，

DocumentFragment root;

//把网页内容content转化byte
byte[] contentInOctets = content.getContent();

//SAX解析抽取外部信息
InputSource input = new InputSource(new ByteArrayInputStream(
contentInOctets));

//设置编码

input.setEncoding(encoding);

root = parse(input);

2 通过root解析出meta，title等。

3 //解析成功标记
        ParseStatus status = new ParseStatus(ParseStatus.SUCCESS);
        if (metaTags.getRefresh()) {
            status.setMinorCode(ParseStatus.SUCCESS_REDIRECT);
            status.setArgs(new String[] { metaTags.getRefreshHref().toString(),
                    Integer.toString(metaTags.getRefreshTime()) });
        }
        //解析ParseData
        ParseData parseData = new ParseData(status, title, outlinks, content
                .getMetadata(), metadata);

        ParseResult parseResult = ParseResult.createParseResult(content
                .getUrl(), new ParseImpl(text, parseData));

4 // 在解析时，运行过滤器
        ParseResult filteredParse = this.htmlParseFilters.filter(content,
                parseResult, metaTags, root);
        if (metaTags.getNoCache()) { // not okay to cache
            for (Map.Entry<org.apache.hadoop.io.Text, Parse> entry : filteredParse)
                entry.getValue().getData().getParseMeta().set(
                        Nutch.CACHING_FORBIDDEN_KEY, cachingPolicy);
        }