网页信息抓取进阶支持Js生成数据 Jsoup的不足之处

最新推荐文章于 2020-08-30 10:10:45 发布

转载最新推荐文章于 2020-08-30 10:10:45 发布 · 569 阅读

文章标签：

#Android #Jsoup #网页信息抓取

Android基础专栏收录该内容

22 篇文章

订阅专栏

转载原地址：http://blog.youkuaiyun.com/lmj623565791/article/details/23866427

今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
	<head>
		<title>main.html</title>

		<meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
		<meta http-equiv="description" content="this is my page">
		<meta http-equiv="content-type" content="text/html; charset=UTF-8">
	<style type="text/css">
		a {
			line-height: 30px;
			margin: 20px;
		}
	
	</style>
		<!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
		<script type="text/javascript">

var datas = [ {
	href : "http://news.qq.com/a/20140416/017800.htm",
	title : "高校一保安长相酷似作家莫言"
}, {
	href : "http://news.qq.com/a/20140416/015167.htm",
	title : "男子单臂托举悬空女半小时"
}, {
	href : "http://news.qq.com/a/20140416/013808.htm",
	title : "女子上门讨房租遭强奸拍裸照"
}, {
	href : "http://news.qq.com/a/20140416/016805.htm",
	title : "澳洲骆驼爱喝冰镇啤酒解暑"
} ];

window.onload = function() {
	var infos = document.getElementById("infos");
	for( var i = 0 ; i < datas.length ; i++)
		{
			var a = document.createElement("a");
			a.href = datas[i].href ;
			a.innerText = datas[i].title;
			infos.appendChild(a);	
			infos.appendChild(document.createElement("br"))
		}
}
</script>
	</head>

	<body>
		Hello Main HttpUnit!
		<br>

		<div id="infos"
			style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
		</div>

	</body>
</html>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

[java]view plaincopy 
   
       @Test  
 ublic void testUserJsoup() {  
 try {  
     Document doc = Jsoup.connect(  
             "http://localhost:8080/strurts2fileupload/main.html")  
             .timeout(5000).get();  
     Elements links = doc.body().getElementsByTag("a");  
     for (Element link : links) {  
         System.out.println(link.text() + " " + link.attr("href"));  
     }  
 } catch (IOException e) {  
     e.printStackTrace();  
 }  

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

[java]view plaincopy 
   
       @Test  
 public void testUserHttpUnit() throws FailingHttpStatusCodeException,  
         MalformedURLException, IOException {  
   
     /** HtmlUnit请求web页面 */  
     WebClient wc = new WebClient(BrowserVersion.CHROME);  
     wc.getOptions().setUseInsecureSSL(true);  
     wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true  
     wc.getOptions().setCssEnabled(false); // 禁用css支持  
     wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常  
     wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待  
     wc.getOptions().setDoNotTrackEnabled(false);  
     HtmlPage page = wc  
             .getPage("http://localhost:8080/strurts2fileupload/main.html");  
   
     DomNodeList<DomElement> links = page.getElementsByTagName("a");  
   
     for (DomElement link : links) {  
         System.out  
                 .println(link.asText() + "  " + link.getAttribute("href"));  
     }  
 }  