Java+Selenium爬取JavaScript返回的网页数据

weixin_51754359

于 2020-10-24 13:13:32 发布

阅读量1k

点赞数

分类专栏：【Java】【网络爬虫】文章标签： java javascript

本文链接：https://blog.youkuaiyun.com/weixin_51754359/article/details/109257008

版权

该文章详细介绍了如何利用Java和Selenium自动化测试库爬取含有JavaScript的'爱查快递'网站上的快递跟踪数据。通过设置Chrome浏览器驱动，模拟打开网页并等待数据加载，然后解析页面元素获取快递状态更新。最后，将数据整理成JSON格式返回。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

案例：本文主要描述如何根据快递单号使用Java+Selenium爬取”爱查快递网页“快递的跟踪信息并按照设计的数据格式返回数据
解决问题：爬取JavaScript返回的网页数据(网站为了保护自己的数据，没有把数据直接放在网页源代码中返回，而是采用异步的方式，用JS返回数据，无法直接抓取)
环境准备：Chrome浏览器、Chrome浏览器驱动文件（chromedriver.exe）
注：chromedriver.exe下载地址：http://chromedriver.storage.googleapis.com/index.html

一、首先创建一个maven工程，配置依赖包

        <dependencies>
        <!-- selenium-java -->
        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>2.44.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.poi/poi -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifa

最低0.47元/天解锁文章