利用htmpParser获取网页内容以及网页上的图片地址

最新推荐文章于 2021-06-03 00:36:32 发布

原创最新推荐文章于 2021-06-03 00:36:32 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#exception #string #class #null #html #list

java编程专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何使用Java程序抓取新浪首页的内容及图片链接。通过解析网页源码并筛选出特定标签，实现对所需数据的精准获取。

一下代码是获取sina首页的内容

package com;

import org.htmlparser.Parser;
import org.htmlparser.util.NodeList;

public class Html {
	public static void main(String []args){
		try{
			Parser parser = new Parser("http://www.sina.com.cn");
			parser.setEncoding("gb2312");
			NodeList list = parser.parse(null);
			System.out.println(list.toHtml());
		}catch(Exception e){
			e.printStackTrace();
		}
	}
}

下面的实例是获取sina首页上的图片地址，先查询“img”标签，然后利用ImageTag获取src属性

package com;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.ImageTag;
import org.htmlparser.util.NodeList;

public class ImageSrc {
	public static void main(String []args){
		try{
			Parser parser = new Parser("http://www.sina.com.cn");
			parser.setEncoding("gb2312");
			NodeFilter nodeFilter = new TagNameFilter("img");
			NodeList nodeList = parser.extractAllNodesThatMatch(nodeFilter);
			Node node = null;
			ImageTag imageTag = null;
			if(nodeList != null){
				for(int i=0;i<nodeList.size();i++){
					node = (Node)nodeList.elementAt(i);
					if(node instanceof ImageTag){
						imageTag = (ImageTag)node;
						System.out.println(imageTag.getAttribute("src"));
					}
				}
			}
		}catch(Exception e){
			e.printStackTrace();
		}
	}
}