htmlunit爬虫简单使用示例

最新推荐文章于 2021-06-05 06:13:13 发布

原创最新推荐文章于 2021-06-05 06:13:13 发布 · 857 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java

爬虫专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何使用HtmlUnit库进行网页抓取，包括Maven依赖配置、模拟浏览器设置及通过XPath提取数据的方法。

maven引入依赖项

<dependency>
	<groupId>net.sourceforge.htmlunit</groupId>
	<artifactId>htmlunit</artifactId>
	<version>2.38.0</version>
</dependency>

简单使用示例

① 创建web客户端并配置

//新建一个模拟谷歌Chrome浏览器的浏览器客户端对象
WebClient webClient = new WebClient(BrowserVersion.CHROME);
//当JS执行出错的时候是否抛出异常, 这里选择不需要
webClient.getOptions().setThrowExceptionOnScriptError(false);
//当HTTP的状态非200时是否抛出异常, 这里选择不需要
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setActiveXNative(false);
//是否启用CSS, 因为不需要展现页面, 所以不需要启用
webClient.getOptions().setCssEnabled(false);
//很重要，启用JS。有些网站要开启！
webClient.getOptions().setJavaScriptEnabled(true); 
//很重要，设置支持AJAX
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setRedirectEnabled(false);
webClient.getCache().setMaxSize(100);

② 通过url获取page对象

HtmlPage page = webClient.getPage("https://www.baidu.com");

③ 通过xpath获取所需内容

HtmlElement element= (HtmlElement) page.getByXPath("//div[@id='title_id']/h1").get(0);
System.out.println(element.asText());
System.out.println(element.getAttribute("href"));