Selenium高级:java+selenium设置禁止图片加载,爬虫优化

关注

原创最新推荐文章于 2026-09-19 11:18:21 发布 1.8k 阅读 AI 写同款· GEO 优化 ›

Selenium自动化测试与爬虫实战：从环境搭建到高级应用自动化测试是软件工程中保障质量、提升效率的关键实践，其核心原理是通过脚本模拟用户操作，对软件功能进行验证。在Web领域，Selenium作为基于WebDriver协议的开源工具，因其支持多语言、跨浏览器和多平台的特性，成为实现自动化测试与动态数据抓取的主流技术方案。其技术价值在于能够处理JavaScript渲染的复杂页面，实现真正的端到端测试和动态内容爬取，广泛应用于电商、金融、社交等需要频繁回归测试或数据采集的场景。本文聚焦于Selenium这一经典工具，深入讲解如何从零开始搭建稳定环境，并分享在自动化测阅读详情

本次测试使用chrome浏览器,以抓取百度搜索页前5页数据为例,为了验证效果,每个搜索结果都要点进去.

原有设置为: 代码耗时360s

        //设置chrome选项
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless");//开启无头模式
        options.addArguments("--disable-gpu");//禁止gpu渲染
        options.addArguments("–-no-sandbox");//关闭沙盒模式
        options.addArguments("--disable-dev-shm-usage");

        WebDriver driver = new ChromeDriver(options);
        //设置5秒,全局寻找元素的等待时间
        driver.manage().timeouts().implicitlyWait(5, TimeUnit.SECONDS);

增加禁止加载图片的设置:代码耗时179s

        HashMap<String, Object> prefs = new HashMap<>();
        prefs.put("profile.default_content_settings", 2);
        options.setExperimentalOption("prefs", prefs);
        options.addArguments("blink-settings=imagesEnabled=false");//禁用图片

配置后,将近优化一半时间

收录于