Selenium高级:java+selenium设置禁止图片加载,爬虫优化

关注

原创最新推荐文章于 2026-07-20 15:19:19 发布 1.8k 阅读 AI 写同款· GEO 优化 ›

Playwright vs Selenium：现代动态网页爬虫技术栈升级实战指南在Web自动化与数据采集领域，浏览器自动化工具是处理动态内容的核心技术。其原理是通过程序脚本控制浏览器引擎，模拟真实用户操作，从而获取JavaScript渲染后的完整页面数据。这项技术的价值在于能够有效应对现代单页应用（SPA）和复杂交互页面，是数据挖掘、自动化测试和监控的关键手段。其典型应用场景包括电商价格监控、社交媒体信息聚合以及需要登录验证的数据采集。本文聚焦于【Playwright】这一新兴工具，通过对比传统方案【Selenium】，深入解析其在驱动管理、API设计、网络拦截及并发控制等方面的优势，阅读详情

本次测试使用chrome浏览器,以抓取百度搜索页前5页数据为例,为了验证效果,每个搜索结果都要点进去.

原有设置为: 代码耗时360s

        //设置chrome选项
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless");//开启无头模式
        options.addArguments("--disable-gpu");//禁止gpu渲染
        options.addArguments("–-no-sandbox");//关闭沙盒模式
        options.addArguments("--disable-dev-shm-usage");

        WebDriver driver = new ChromeDriver(options);
        //设置5秒,全局寻找元素的等待时间
        driver.manage().timeouts().implicitlyWait(5, TimeUnit.SECONDS);

增加禁止加载图片的设置:代码耗时179s

        HashMap<String, Object> prefs = new HashMap<>();
        prefs.put("profile.default_content_settings", 2);
        options.setExperimentalOption("prefs", prefs);
        options.addArguments("blink-settings=imagesEnabled=false");//禁用图片

配置后,将近优化一半时间

收录于