Phantomjs爬取带有js加载完后才能获得的页面html内容

最新推荐文章于 2024-07-28 17:04:36 发布

转载最新推荐文章于 2024-07-28 17:04:36 发布 · 2.2k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/1045177/blog/469734

文章标签：

#java #python #php

本文介绍如何利用PhantomJS解决异步加载网页的爬取问题，并结合jsoup进行页面内容提取。通过一个具体示例展示了如何在GitHub上的开源项目easy-commons中使用PhantomjsUtils获取完整的HTML内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

在日常的开发过程中，需要爬取一些网站的页面内容，但是一些网是使用异步加载的内容。

异步加载的信息不好分析与提取，只有从页面的html中提取最直观、最方便，比如一项业务，要爬取淘宝商品的排行版：http://top.taobao.com/index.php?spm=a1z5i.1.2.2.3C7KSE&topId=TR_FS&leafId=50010850；

通过普通的jsoup是很难分析提取页面中的目标内容的；

但是如果有一个工具，可以获取最后页面展示的html内容，那么再通过传统的jsoup，便可以很容易地提取页面内容；

Phantomjs可以胜任这个业务需求的实现。

针对这个需求编写了一个工具类，工具类已封装在本人托管在开源中国Git下的的开源项目：easy-commons

项目下载地址：

https://git.oschina.net/nibilly/easy-commons.git

项目是使用maven管理的，下载完后，可以运行bin目录下的install.bat打包到本地的maven仓库，然后在自己的项目里添加依赖：

<artifactId>easy-commons</artifactId>

</dependency>

以下是使用示例代码（结合jsoup处理返回内容）：

/**
 * 根据url获取document
 * 
 * @param url
 * @return
 * @throws Exception
 */
private Document getDocment(String url) throws Exception {
try {
String htmlStr = PhantomjsUtils.getJsHtmlCotnent(url);
return Jsoup.parse(htmlStr);
} catch (Exception ex) {
log.error("爬取异常，用HttpProxy重新爬取一次:" + url, ex);
return this.getDocumentByHttpProxy(url);
}
}

//this.RE_CATCH_FROM_URL_TIMES 是重复爬取次数，在实际的使用过程中，会出现，取回的内容为空的现象，多次判断重复爬取，可以解决问题，我这里设置的是重复爬取5次
for (int k = 0; k < this.RE_CATCH_FROM_URL_TIMES; k++) {
doc = this.getDocment(parentUrl);
topWordsLink = doc.select("#bang-bswitch .switch-row .switch-item a");// 搜索上升完整排行链接
if (topWordsLink.size() != 0) {
break;
}
// 如果没爬到，重复
}

转载于:https://my.oschina.net/u/1045177/blog/469734