使用jsoup分析网页

[size=large]之前用过HTMLParser，许久不更新的东西了，印象中也没那么好用。
今天重新搜索了一下，发现jsoup很容易上手~选择器很好很强大。
[color=red]支持DOM和选择器两种模式[/color][/size]

[size=x-large][color=blue]1、下载[/color][/size]
[size=large]jsoup的网站很简洁：[/size][url]http://jsoup.org/[/url]
[size=large]入门做的很不错：[/size][url]http://jsoup.org/cookbook/[/url]

[size=x-large][color=blue]2、简单的例子[/color][/size]
[size=large]以下示例用于抓取iteye首页的新闻及连接，共使用了3种方式获取元素：[/size]
[table]
|选择器|
|用组件的Id|
|用组件的class|
[/table]

package tests;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class EgParseItEyeNews {
	public static void main(String[] args) throws IOException {
		String url = "http://www.iteye.com/";
		// 不加userAgent会被视为爬虫。。。。。
		Document doc = Jsoup.connect(url)
				.userAgent("Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1 ")
				.get();

//		Element news = doc.getElementById("news");               //1、通过ID
		Elements	newsConents=doc.getElementsByClass("news_content");//2、通过class
		Element news=newsConents.first();
		if (news == null)
			System.out.println(doc);
		else {
//			System.out.println(news);
//			System.out.println("end of news****************\n");
			Elements elems = news.select("a"); // 3、通过选择器  ，     把链接都提取出来
			for (Element element : elems) {
				System.out.println(element.text() + "             \t链接为：" + element.attr("href"));
			}
		}

	}
}

[size=large]输出如下：[/size]
[list]
[*]轻量级JavaWeb开发框架EWeb4J作者赖伟威专访 链接为：http://www.iteye.com/magazines/105
[*][详情] 链接为：http://www.iteye.com/magazines/105
[*]12月TIOBE编程语言排行榜：年度语言非ObjC莫属 链接为：http://www.iteye.com/news/26673
[*][详情] 链接为：http://www.iteye.com/news/26673
[*]JDK6明年2月停止更新，甲骨文呼吁尽快升级至7 链接为：http://www.iteye.com/news/26683
[*][详情] 链接为：http://www.iteye.com/news/26683
[/list]

[size=large]。。。好多重复的链接啊！！！[color=red]将选择器重的代码改为：[/color][/size]

Elements elems = news.select("dt>a"); // 3、通过选择器  ，     把链接都提取出来

[size=large]使得只选择的链接为dt标签的直接子类即可去掉[color=red][详情][/color]项，更多选项如后文所示。[/size]


[size=x-large][color=blue]3、选择器字符串的语法[/color][/size]
[size=large]这里有实例介绍：[/size][url]http://jsoup.org/cookbook/extracting-data/selector-syntax[/url]
[size=large]用法详解：[/size][url]http://jsoup.org/apidocs/org/jsoup/select/Selector.html[/url]
[size=large]下图是从上面的网址抠出来的：[/size]
[img]http://dl.iteye.com/upload/attachment/0077/4769/3569edae-3c71-3eb9-ad58-7485e82bb117.png[/img]

[size=x-large][color=blue]4、在线文档[/color][/size]
[url]http://jsoup.org/apidocs/[/url]