Nutch cached乱码问题解决办法

最新推荐文章于 2021-03-06 05:41:39 发布

原创最新推荐文章于 2021-03-06 05:41:39 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#string #encoding #null #byte

Lucene/Nutch/Hadoop/Solr 专栏收录该内容

20 篇文章

订阅专栏

本文讨论了在cached.jsp页面中遇到的乱码问题，通过修改代码从ParseData的parseMeta中获取正确的字符集代码，解决了乱码显示的问题。包括详细的技术步骤和代码实现。

在cached.jsp页面中，原来用于取得字符集的代码是通过取得ParseData的ContentMeta 来得：
Metadata metaData = bean.getParseData(details).getContentMeta(); String content = null; String contentType = (String) metaData.get(Metadata.CONTENT_TYPE); if (contentType.startsWith("text/html")) { // FIXME : it's better to emit the original 'byte' sequence // with 'charset' set to the value of 'CharEncoding', // but I don't know how to emit 'byte sequence' in JSP. // out.getOutputStream().write(bean.getContent(details)) may work, // but I'm not sure. String encoding = (String) metaData.get("CharEncodingForConversion"); if (encoding != null) { try { content = new String(bean.getContent(details), encoding); } catch (UnsupportedEncodingException e) { // fallback to windows-1252 content = new String(bean.getContent(details), "windows-1252"); } } else content = new String(bean.getContent(details)); }
这样，每次取得的encoding都为空，导致页面没有按正确的字符集显示，显示成乱码。

后来，查看HtmlParser 的代码发现CharEncodingForConversion的值是存放在ParseData的parseMeta中，而且ParseData的代码中对Meta的取值已经做相应的处理

  public String getMeta(String name) {
     String value = parseMeta.get(name);
     if (value == null) {
         value = contentMeta.get(name);
     }    return value;
  }

所以，我们只要调用parseData.getMeta方法就可以取得正确的字符集代码，

这样cached.jsp页面就可以按原来解析取得的字符集代码正确显示了.