写在前面
项目中遇到需要爬虫,但是目标网址存在着动态js加载数据,通过普通的http请求获取下来的Doc为js源 码,并不是我们所想要的,爬虫我只是想拿到我(用户)所看到的内容,所以辗转百度百度百度-论坛,终于 在优快云中找到了自己想要的东西。
HtmlUnit,利用java获取完整的HTML(包含css,js加载完成之后的效果)
HtmlUnit原贴地址:https://blog.youkuaiyun.com/johnson_moon/article/details/78457543
然后就开始着手写代码,但是代码中遇到了各种问题,然后又开始百度,原来程序员都是面向百度编程,
首先解决的是一个httpclient的一来问题,原来原贴中的demo有一些一来问题,按照以下步骤解决了问题
当在使用htmlUnit时遇到无法定位org.apache.http.impl.client.HttpClientBuilder.dnsResolver类时,此时所需要的依赖包为:
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.2</version>
运行maven之后的结果为:
此问题完美解决,接着运行程序出现一下错误:
java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal
此问题主要时找不到xml解析包,解决方式:
<depende