关于htmlunit运行时报各种错的坑

最新推荐文章于 2023-03-17 16:24:11 发布

大虾哥哥

最新推荐文章于 2023-03-17 16:24:11 发布

阅读量7.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： java基础爬虫文章标签： htmlunit 爬虫htmlunit java爬虫执行javascript 爬虫ajax

本文链接：https://blog.youkuaiyun.com/nercon233/article/details/86581123

本文介绍了在Java爬虫项目中，由于使用HTMLUnit遇到的各种错误，尤其是与JavaScript和AJAX相关的问题。核心问题是最新版HTMLUnit与JDK1.7不兼容，因此选择了HTMLUnit 2.18版本来解决这个问题。通过添加正确的Maven依赖，并对比爬取的HTML文档，成功实现了目标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因为项目需要，采用htmlunit爬取带ajax和其他js执行结果的页面，开发环境jdk1.7 和maven

网上很多资料上使用的htmlunit版本的示例使用了之后，老是报错，根本原因就是htmlunit的版本问题或者jar包缺失问题。经过一天多的折腾，终于有一个可以用的示例了。最新的htmlunit不兼容jdk1.7所以使用低版本2.18版的htmlunit

先记录如下：

maven依赖

<!-- 可以模拟浏览器执行js脚本的爬虫框架htmlunit，用于爬取带js执行结果的页面 jdk7只支持2.18版本 -->

<dependency>
   <groupId>net.sourceforge.htmlunit</groupId>
   <artifactId>htmlunit</artifactId>
   <version>2.18</version>
</dependency>

<!--解决htmlunit执行报异常java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal 的问题-->

<dependency>
   <groupId>xml-apis</groupId>
   <artifactId>xml-apis</artifactId>
   <version>1.4.01</version>
</dependency>

<!--所需

最低0.47元/天解锁文章

200万优质内容无限畅学