关于htmlunit运行时报各种错的坑

本文介绍了在Java爬虫项目中,由于使用HTMLUnit遇到的各种错误,尤其是与JavaScript和AJAX相关的问题。核心问题是最新版HTMLUnit与JDK1.7不兼容,因此选择了HTMLUnit 2.18版本来解决这个问题。通过添加正确的Maven依赖,并对比爬取的HTML文档,成功实现了目标。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

因为项目需要,采用htmlunit爬取带ajax和其他js执行结果的页面,开发环境jdk1.7 和maven

网上很多资料上使用的htmlunit版本的示例使用了之后,老是报错,根本原因就是htmlunit的版本问题或者jar包缺失问题。经过一天多的折腾,终于有一个可以用的示例了。最新的htmlunit不兼容jdk1.7所以使用低版本2.18版的htmlunit

先记录如下:

maven依赖

<!-- 可以模拟浏览器执行js脚本的爬虫框架htmlunit,用于爬取带js执行结果的页面 jdk7只支持2.18版本 -->
<dependency>
   <groupId>net.sourceforge.htmlunit</groupId>
   <artifactId>htmlunit</artifactId>
   <version>2.18</version>
</dependency>
<!--解决htmlunit执行报异常java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal 的问题-->
<dependency>
   <groupId>xml-apis</groupId>
   <artifactId>xml-apis</artifactId>
   <version>1.4.01</version>
</dependency>

<!--所需

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值