基于HtmlUnit获取页面及复选框元素、单击事件操作

最新推荐文章于 2024-04-08 14:34:05 发布

原创最新推荐文章于 2024-04-08 14:34:05 发布 · 2.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#HtmlUnit #页面复选框选取 #HtmlUnit基本设置

网络爬虫学习笔记专栏收录该内容

3 篇文章

订阅专栏

本文介绍WebClient的参数配置方法，包括启动JS、关闭CSS渲染、管理Cookies等，并通过斗鱼页面抓取实例演示了如何获取页面元素、模拟点击等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

常用WebClient的参数设置

//1.创建对象
WebClient webClient=newWebClient(BrowserVersion.CHROME);
//2.设置参数
//启动js
webClient.getOptions().setJavaScriptEnabled(true);
//关闭css渲染
webClient.getOptions().setCssEnabled(false);
//启动重定向
webClient.getOptions().setRedirectEnabled(true);
//启动cookie管理
webClient.setCookieManager(newCookieManager());
//启动ajax代理
webClient.setAjaxController(newNicelyResynchronizingAjaxController());
//js运行时错误，是否抛出异常
webClient.getOptions().setThrowExceptionOnScriptError(false);
//3.获取页面
HtmlPage page=webClient.getPage(url);
//等待js渲染执行 waitime等待时间(ms)
webClient.waitForBackgroundJavaScript(waitime);

斗鱼页面的获取示例：

    public void getPage(){
        String url = Constants.DOU_YU_URL + XMLTools.getNodeValue(Constants.SETTINGS_PATH,"roomID","");
        logger.info("请求地址为："+url);
//        String url = "http://www.douyu.com";
        try {
            HtmlPage page = webClient.getPage(url);
            //logger.info(page.asText());
            DomNodeList domNodeList = page.getElementsByTagName("class");
            page.getPageEncoding();
            logger.info("页面中class的个数"+domNodeList.size());
            logger.info("页面编码："+page.getPageEncoding());
            List<HtmlAnchor> listAnchor=  page.getAnchors();
            for(HtmlAnchor anchor:listAnchor){
                logger.info("页面中链接："+anchor.getHrefAttribute());
            }
        } catch (IOException e) {
            logger.info(e.getMessage());
        }

获取页面中复选框及模拟单击事件部分代码：

WebClient初始化及基本设置、获取页面等参考上面。
	    URL mainUrl = new URL("https://vendorcentral.amazon.cn/gp/vendor/members/obieeReports/araBasic/ara-basic?ref_=vc_ven-obiee-ara-basic-home_subNav");
            HtmlPage mainHtml = webClient.getPage(mainUrl);
            //模拟点击跳转
            HtmlSelect select = (HtmlSelect) mainHtml.getElementById("report-selector");
//            select.setSelectedAttribute("/st/vendor/members/analytics/basic/productDetail",true);
            HtmlOption option = select.getOptionByText("销售和库存 - 商品详情");
            HtmlPage page3 = option.click();