selenium 如何获取分页数据

最新推荐文章于 2025-06-09 22:37:41 发布

jackey_yjl

最新推荐文章于 2025-06-09 22:37:41 发布

阅读量4.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Java原代码文章标签： selenium java 分页数据

本文链接：https://blog.youkuaiyun.com/qq_28802477/article/details/62420050

Java原代码专栏收录该内容

8 篇文章

订阅专栏

本文介绍使用Selenium进行分页爬虫的实际操作过程，包括如何遍历每一页并提取表格数据，以及如何处理页面间的跳转。通过具体代码示例展示了如何利用Selenium WebDriver与网页元素交互，实现自动化爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

selenium 获取分页时每点开一次下一页都需要将driver退到窗口后重新进入表格frame：

List studentdetail = new ArrayList<Map>();
        WebElement pagelink = null;
        do {
            pagelink = null;
            List<WebElement> tables = webDriver.findElements(By.className("MsoNormalTable"));
            if (!tables.isEmpty()) {
                WebElement table = tables.get(0);
                studentdetail.addAll(ListToCsv.getTextAnd(table,1));//解析表数据为map，添加到list中去
            }
            try {//获取点击下一页
                pagelink = webDriver.findElement(By.linkText("下页"));
                pagelink.click();//跳转页面了
                webDriver.switchTo().defaultContent();//退到窗口
                webDriver.switchTo().frame("main");//重新定位
            } catch (Exception e) {//如果取不到下一页，则跳出循环
                
            }
        } while (pagelink != null);