nutch 提高搜索精度

最新推荐文章于 2025-08-13 18:08:55 发布

彷徨的石头

最新推荐文章于 2025-08-13 18:08:55 发布

阅读量372

点赞数

分类专栏： Nutch、Solr 文章标签： windows string ant html null

Nutch、Solr 专栏收录该内容

55 篇文章

订阅专栏

  private boolean getTextHelper(StringBuffer sb, Node node,
  boolean abortOnNestedAnchors,
  int anchorDepth) {
  if ("script".equalsIgnoreCase(node.getNodeName())) {
  return false;
  }
  if ("style".equalsIgnoreCase(node.getNodeName())) {
  return false;
  }
  if (abortOnNestedAnchors && "a".equalsIgnoreCase(node.getNodeName())) {
  anchorDepth++;
  if (anchorDepth > 1)
  return true;
  }
  if (node.getNodeType() == Node.COMMENT_NODE) {
  return false;
  }

  if (node.getNodeType() == Node.TEXT_NODE) { //node是解析下来的网页源文件所包含的内容

  //Node.TEXT_NODE:节点属于文本节点<body><div><a href><td>等标签
  // cleanup and trim the value
  String text = node.getNodeValue(); //获取节点里面的文本内容，相当与去掉HTML标签


  text = text.replaceAll("//s +", " ");
  text = text.replace("【", "");
  text = text.replace("】", "");
  text = text.replace("[", "");
  text = text.replace("]", "");
  text = text.replace("|", "");
  text = text.replace("┊", "");
  text = text.replace("?", "");
  text = text.replace("?", "");
  text = text.replace("？", "");
  text = text.replace("|", "");
  text = text.replace("、", "");
  text = text.replace("-", "");
  text = text.replace("~", "");
  text = text.replace("!", "");
  text = text.replace("@", "");
  text = text.replace("#", "");
  text = text.replace("$", "");
  text = text.replace("^", "");
  text = text.replace("*", "");
  text = text.replace("(", "");
  text = text.replace(")", "");
  text = text.replace("%", "");
  text = text.replace(">", "");
  text = text.replace("?", "");
  text = text.replace("%", "");

  text = text.trim();

  temp = node.getParentNode().toString(); //获取父节点的标签

  if (text.length() > 0 && temp.indexOf("A:") == -1) { //如果属于<a href>，则过滤...

  if (sb.length() > 0) sb.append(' ');
  sb.append(text);
  }
  }
  boolean abort = false;
  NodeList children = node.getChildNodes();
  if (children != null) {
  int len = children.getLength();
  for (int i = 0; i < len; i++) {
  if (getTextHelper(sb, children.item(i),
  abortOnNestedAnchors, anchorDepth)) {
  abort = true;
  break;
  }
  }
  }
  return abort;
}

ant 编译时，提示两个错误，8个警告

2个错误分别是：
temp = node.getParentNode().toString();
if (text.length() > 0 && temp.indexOf("A:") == -1) {
都是提示找不到temp这个符号

8个警告分别是
  text = text.replace("?", "");
警告：编码UTF-8的不可映射字符。

出现错误的问题在于temp未declared，感谢坛子里的好友的帮助。
改：
String temp = node.getParentNode().toString();
OK了。
我输入string时输入小写了，晕，用windows用习惯了，唉，错误百出啊，呵呵
警告的问题这个是编码的原因造成的，修改build.xml即可，我已经解决了。