commons-io版本冲突解决方案,此方法可解决Maven依赖版本冲突问题

在使用HtmlUnit进行网页抓取时,遇到 HttpClientBuilder 类找不到和 W3C DOM ElementTraversal 类缺失的问题,通过升级相关依赖和调整Maven依赖顺序解决了问题。此外,还详细描述了如何处理commons-io版本冲突,通过改变依赖引入顺序实现高版本兼容低版本,成功解决问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

写在前面

项目中遇到需要爬虫,但是目标网址存在着动态js加载数据,通过普通的http请求获取下来的Doc为js源 码,并不是我们所想要的,爬虫我只是想拿到我(用户)所看到的内容,所以辗转百度百度百度-论坛,终于 在优快云中找到了自己想要的东西。

HtmlUnit,利用java获取完整的HTML(包含css,js加载完成之后的效果)

HtmlUnit原贴地址:https://blog.youkuaiyun.com/johnson_moon/article/details/78457543

然后就开始着手写代码,但是代码中遇到了各种问题,然后又开始百度,原来程序员都是面向百度编程,
首先解决的是一个httpclient的一来问题,原来原贴中的demo有一些一来问题,按照以下步骤解决了问题
当在使用htmlUnit时遇到无法定位org.apache.http.impl.client.HttpClientBuilder.dnsResolver类时,此时所需要的依赖包为:

<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.2</version>

运行maven之后的结果为:

此问题完美解决,接着运行程序出现一下错误:
java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal

此问题主要时找不到xml解析包,解决方式:

<depende
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值