web爬虫工具由jsoup改为htmlunit的原因分析

最新推荐文章于 2025-05-21 21:29:02 发布

weixin_34346099

最新推荐文章于 2025-05-21 21:29:02 发布

阅读量80

点赞数

CC 4.0 BY-SA版权

文章标签：移动开发爬虫 javascript ViewUI

原文链接：http://www.cnblogs.com/zhaijing/p/7116518.html

本文介绍了一种使用HtmlUnit替代Jsoup抓取网页数据的方法，通过启用JavaScript支持并调整相关选项，成功解决了部分网页数据抓取失败的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

起因：要抓取多部电影的上映时间，每部电影的上映时间都需要请求外部网页来获取，起初用的是jsoup抓取，但是73个请求中有10几个请求都无法获取页面的上映时间节点元素，后来改用了htmlunit进行抓取，73个请求中只有一个请求获取不到页面的上映时间节点元素。

pom文件添加如下依赖：

        <dependency>
            <groupId>net.sourceforge.htmlunit</groupId>
            <artifactId>htmlunit</artifactId>
            <version>2.19</version>
        </dependency>
        <dependency>
            <groupId>xml-apis</groupId>
            <artifactId>xml-apis</artifactId>
            <version>1.4.01</version>
        </dependency>

httpunit抓取外部网页的example：

                    WebClient webClient = new WebClient(BrowserVersion.CHROME);
                    webClient.getOptions().setUseInsecureSSL(true);
                    webClient.getOptions().setJavaScriptEnabled(true);//启用javascript
                    webClient.getOptions().setCssEnabled(false);//禁用css
                    webClient.getOptions().setThrowExceptionOnScriptError(false);
                    webClient.getOptions().setTimeout(100000);//设置超时时间为100S
                    webClient.getOptions().setDoNotTrackEnabled(false);
                    HtmlPage page = webClient.getPage(url);//url此处要改为自己要抓取的外部网页
                    List<HtmlSpan> spans = (List<HtmlSpan>)page.getByXPath("//span[@class='information-item']");//获取页面的clsss="information-item"的span元素集合(注：请根据自己的实际情况修改xpath路径）
                    String onShowDate;
                    if (spans.size()==0) {
                        System.out.println("无法获取上映时间的电影名字：***" );
                    } else {
                        onShowDate = spans.get(0).asText();//获取到的span集合的第一个元素就是上映时间结点（注：根据自己的实际情况进行修改）
                        System.out.println(onShowDate);
                   }

转载于:https://www.cnblogs.com/zhaijing/p/7116518.html