chrome88 java使用webdriver爬虫设置webdriver.navigator.webdriver属性失败

升级到Chrome 88后,使用webdriver进行网页登录时遇到问题。以往通过修改navigator.webdriver属性的方法不再有效。为解决此问题,现在需要在ChromeOptions中添加参数`--disable-blink-features=AutomationControlled`来禁用自动化控制特性,然后初始化ChromeDriver。这可能是由于Chrome新版本加强了反爬机制导致的。

升级完chrome88发现使用webdriver爬虫登录失败

以前的做法

WebDriver driver = new ChromeDriver()
JavascriptExecutor js = (JavascriptExecutor) driver;
js.executeScript("Object.defineProperties(navigator,{ webdriver:{ get: () => false } })");

chrome88之后

ChromeOptions options = new ChromeOptions();
options.addArguments("--disable-blink-features=AutomationControlled");
WebDriver driver = new ChromeDriver(options);

 

使用 Selenium 和 Java 进行浏览器自动化时,若发现 `window.navigator.webdriver` 属性为 `undefined`,通常是因为尝试通过特定方法绕过网站对自动化工具的检测。这种行为虽然旨在规避反爬机制,但可能导致浏览器行为异常或与预期不符。 ### 原因分析 1. **浏览器自动化特征检测**:现代浏览器(如 Chrome)会通过 `window.navigator.webdriver` 属性标识当前页面是否由自动化工具(如 Selenium)控制。当此属性为 `true` 时,网站可能检测到自动化行为并采取反爬措施。 2. **脚本注入修改属性**:为了规避检测,常见的做法是通过 `execute_cdp_cmd` 或 `executeScript` 注入 JavaScript 脚本,将 `window.navigator.webdriver` 属性设置为 `undefined` 或 `false`。然而,某些浏览器版本(如 Chrome 88.0 及以上)可能已增强对此类修改的处理逻辑,导致脚本注入失效或无法完全隐藏自动化特征 [^1]。 3. **Selenium 配置不当**:部分浏览器选项(如 `excludeSwitches` 和 `useAutomationExtension`)未能正确配置,也可能导致无法有效隐藏自动化特征 [^5]。 ### 解决方案 1. **更新 Selenium 与 ChromeDriver 版本**:确保使用的 Selenium 和 ChromeDriver 版本为最新版本,以兼容最新的浏览器特性并修复已知问题 [^5]。 2. **调整浏览器启动参数**: - 禁用 Blink 自动化控制特征:`--disable-blink-features=AutomationControlled` - 排除自动化控制开关:`excludeSwitches` 设置为 `["enable-automation"]` - 禁用自动化扩展:`useAutomationExtension` 设置为 `false` ```java ChromeOptions options = new ChromeOptions(); options.addArguments("--disable-blink-features=AutomationControlled"); options.setExperimentalOption("excludeSwitches", Arrays.asList("enable-automation")); options.setExperimentalOption("useAutomationExtension", false); WebDriver driver = new ChromeDriver(options); ``` 3. **注入 JavaScript 脚本**:在页面加载时通过 `execute_cdp_cmd` 或 `executeScript` 注入脚本,将 `window.navigator.webdriver` 属性设置为 `undefined`。 ```java Map<String, Object> params = new HashMap<>(); params.put("source", "Object.defineProperty(navigator, 'webdriver', { get: () => undefined });"); driver.executeCdpCommand("Page.addScriptToEvaluateOnNewDocument", params); ``` 4. **使用无头模式时谨慎处理**:某些网站会检测无头浏览器(如 `--headless=new`)的特征。可尝试添加其他浏览器指纹混淆参数,如 `--disable-gpu`、`--no-sandbox` 等,以进一步模拟真实用户行为 [^5]。 ###
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值