Selenium如何隐藏Firefox geckodriver的window.navigator.webdriver属性(Firefox88.0已失效)

本文介绍如何在Firefox浏览器中使用Selenium时隐藏window.navigator.webdriver属性,以绕过网站的自动化检测。通过设置Firefox配置文件,可以将此属性值设为None。

备注:该方法已失效,Firefox88.0在浏览器首选项中删除了dom.webdriver.enabled配置项。

在当前全民爬虫的形势下,Selenium已经成为爬虫必备技能,自然Selenium也成为反爬必备的检测项目,常见识别Selenium的方法主要通过检测浏览器的window.navigator.webdriver属性。

下面我们看下不同浏览器的window.navigator.webdriver属性值。

正常Firefox浏览器

在这里插入图片描述

Selenium+geckodriver

代码:

from selenium import webdriver

options = webdriver.FirefoxOptions()
options.add_argument("--headless") 
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()

结果为:

True

去除Selenium+geckodriverwindow.navigator.webdriver属性

代码:

from selenium import webdriver

options = webdriver.FirefoxOptions()
options.add_argument("--headless") 
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)# 去除window.navigator.webdriver属性的核心语句
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()

结果为:

None

总结

去除window.navigator.webdriver属性的核心语句:

profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)
driver = webdriver.Firefox(options=options,firefox_profile=profile)

显示JavaScript变量的核心语句:

js="return window.navigator.webdriver"
result=driver.execute_script(js)

JavaScript变量前加上return,然后通过driver.execute_script()方法执行JavaScript语句,driver.execute_script()方法的返回值即等于JavaScript变量的值,即result等于window.navigator.webdriver

在使用 Selenium 和 Java 进行浏览器自动化时,若发现 `window.navigator.webdriver` 属性为 `undefined`,通常是因为尝试通过特定方法绕过网站对自动化工具的检测。这种行为虽然旨在规避机制,但可能导致浏览器行为异常或与预期不符。 ### 原因分析 1. **浏览器自动化特征检测**:现代浏览器(如 Chrome)会通过 `window.navigator.webdriver` 属性标识当前页面是否由自动化工具(如 Selenium)控制。当此属性为 `true` 时,网站可能检测到自动化行为并采取措施。 2. **脚本注入修改属性**:为了规避检测,常见的做法是通过 `execute_cdp_cmd` 或 `executeScript` 注入 JavaScript 脚本,将 `window.navigator.webdriver` 属性设置为 `undefined` 或 `false`。然而,某些浏览器版本(如 Chrome 88.0 及以上)可能已增强对此类修改的处理逻辑,导致脚本注入失效或无法完全隐藏自动化特征 [^1]。 3. **Selenium 配置不当**:部分浏览器选项(如 `excludeSwitches` 和 `useAutomationExtension`)未能正确配置,也可能导致无法有效隐藏自动化特征 [^5]。 ### 解决方案 1. **更新 Selenium 与 ChromeDriver 版本**:确保使用的 Selenium 和 ChromeDriver 版本为最新版本,以兼容最新的浏览器特性并修复已知问题 [^5]。 2. **调整浏览器启动参数**: - 禁用 Blink 自动化控制特征:`--disable-blink-features=AutomationControlled` - 排除自动化控制开关:`excludeSwitches` 设置为 `["enable-automation"]` - 禁用自动化扩展:`useAutomationExtension` 设置为 `false` ```java ChromeOptions options = new ChromeOptions(); options.addArguments("--disable-blink-features=AutomationControlled"); options.setExperimentalOption("excludeSwitches", Arrays.asList("enable-automation")); options.setExperimentalOption("useAutomationExtension", false); WebDriver driver = new ChromeDriver(options); ``` 3. **注入 JavaScript 脚本**:在页面加载时通过 `execute_cdp_cmd` 或 `executeScript` 注入脚本,将 `window.navigator.webdriver` 属性设置为 `undefined`。 ```java Map<String, Object> params = new HashMap<>(); params.put("source", "Object.defineProperty(navigator, 'webdriver', { get: () => undefined });"); driver.executeCdpCommand("Page.addScriptToEvaluateOnNewDocument", params); ``` 4. **使用无头模式时谨慎处理**:某些网站会检测无头浏览器(如 `--headless=new`)的特征。可尝试添加其他浏览器指纹混淆参数,如 `--disable-gpu`、`--no-sandbox` 等,以进一步模拟真实用户行为 [^5]。 ###
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值