LUCENE-使用htmlparser提取网页所有链接

最新推荐文章于 2021-06-05 02:58:53 发布

deepfuture

最新推荐文章于 2021-06-05 02:58:53 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：搜索引擎与人工智能文章标签：旅游 string filter 招聘搜索引擎 class

本文链接：https://blog.youkuaiyun.com/deepfuture/article/details/5063812

搜索引擎与人工智能专栏收录该内容

217 篇文章

订阅专栏

本文介绍了一个使用Java编写的HTML链接提取工具，该工具能够从指定网页中抽取所有超链接及其文本，并展示了具体的代码实现和运行效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

、代码(以这个网页为例http://www.qunar.com/site/zh/Cooperate_4.shtml)

package extract;

import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

public class extracthtmlfulllink {

/**
* @param args
*/
public static String getText(String f){
        StringBuffer sb=new StringBuffer();
        try {
   Parser parser=new Parser(f);
   parser.setEncoding("UTF-8");
   NodeFilter filter=new NodeClassFilter(LinkTag.class);
   NodeList links=new NodeList();
   for (NodeIterator e=parser.elements();e.hasMoreNodes();){
    e.nextNode().collectInto(links, filter);
   }
   for (int i=0;i<links.size();i++){
    LinkTag linktag=(LinkTag)links.elementAt(i);
    sb.append("/n|"+linktag.getLinkText()+"|=>"+linktag.getLink());
   }

  } catch (ParserException e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  }
  return sb.toString();
}
public static void main(String[] args) {
  // TODO Auto-generated method stub
  String s=getText("./htmls/Qunar_com.htm");
  System.out.print(s);
}

}
2、效果（包括电子邮件地址都已经提取）

|“去哪儿”旅游搜索引擎|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|机票|=>http://flight.qunar.com/
|酒店|=>http://hotel.qunar.com/
|知道new|=>http://zhidao.qunar.com/
|签证|=>http://visa.qunar.com/
|博客|=>http://i.qunar.com/
|打折|=>http://deals.qunar.com/
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|收藏本站|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|关于“去哪儿”|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司简介|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司大事记|=>http://www.qunar.com/site/zh/zhMilestones.shtml
|中国在线旅游发展背景|=>http://www.qunar.com/site/zh/zhBackground.shtml
|管理团队简介|=>http://www.qunar.com/site/zh/Ours.Team_1.4.shtml
|媒体报道|=>http://www.qunar.com/site/zh/News.Room_1.5.shtml
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|去哪儿联盟(API)|=>http://un.qunar.com/
|免责申明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|隐私条款|=>http://www.qunar.com/site/zh/Privacy_6.shtml
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|关于订票|=>http://www.qunar.com/site/zh/AboutBooking_10.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|About
Us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|Adservice@qunar.com|=>adservice@qunar.com
|adservice@qunar.com|=>adservice@qunar.com
||=>http://www.hd315.gov.cn/beian/view.asp?bianhao=010202007112700003
|关于Qunar.com|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|媒体报道|=>http://hot.qunar.com/
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|免责声明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|旅游导航|=>http://123.qunar.com/
|旅游论坛|=>http://bbs.qunar.com/
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|使用帮助|=>http://www.qunar.com/site/zh/Tips_new.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|about
us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|京ICP备05021087号|=>http://www.miibeian.gov.cn/
|电信与信息服务业务经营许可证060856号|=>http://downtmp.qunar.com/qunaricp.pdf