htmlparser 获取页面匹配链接

最新推荐文章于 2022-12-22 16:58:47 发布

iteye_15912

最新推荐文章于 2022-12-22 16:58:47 发布

阅读量167

点赞数

分类专栏： HTTPClient

HTTPClient 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种使用自定义正则表达式从特定网站抓取链接的方法。通过创建Parser对象并解析目标网址，利用HTMLPage类获取页面内容，再通过过滤器提取所有A标签，最终筛选出符合预设格式的链接进行输出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

	private static String regex = "http://www.yifujx.com/cn/showclass\\.asp\\?id=\\d{1,2}&pid=\\d{1,2}";
	private static String urlRegex = "http://www.yifujx.com/cn/showProduct\\.asp\\?ID=\\d{1,2}";
	
	
	public static void main(String[] args) throws Exception {
//		Parser parser = Parser.createParser("http://www.yifujx.com/cn/", "gb2312");
		Parser parser = new Parser("http://www.yifujx.com/cn/");
		HtmlPage htmlPage = new HtmlPage(parser);
		parser.visitAllNodesWith(htmlPage);
		
		NodeList nodeList = htmlPage.getBody();
		NodeFilter nodeFilter = new TagNameFilter("A");
		nodeList = nodeList.extractAllNodesThatMatch(nodeFilter, true);
		int size = nodeList.size();
		for(int i=0; i<size; i++){
			LinkTag linkTag = (LinkTag)nodeList.elementAt(i);
			String link = linkTag.getLink();
			if( link.matches(regex) ){
				System.out.println( link + "\t" + linkTag.getChildrenHTML());
			}
		}
		
	}