备注:该方法已失效,Firefox88.0在浏览器首选项中删除了dom.webdriver.enabled配置项。
在当前全民爬虫的形势下,Selenium已经成为爬虫必备技能,自然Selenium也成为反爬必备的检测项目,常见识别Selenium的方法主要通过检测浏览器的window.navigator.webdriver属性。
下面我们看下不同浏览器的window.navigator.webdriver属性值。
正常Firefox浏览器

Selenium+geckodriver
代码:
from selenium import webdriver
options = webdriver.FirefoxOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()
结果为:
True
去除Selenium+geckodriver的window.navigator.webdriver属性
代码:
from selenium import webdriver
options = webdriver.FirefoxOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)# 去除window.navigator.webdriver属性的核心语句
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()
结果为:
None
总结
去除window.navigator.webdriver属性的核心语句:
profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)
driver = webdriver.Firefox(options=options,firefox_profile=profile)
显示JavaScript变量的核心语句:
js="return window.navigator.webdriver"
result=driver.execute_script(js)
在JavaScript变量前加上return,然后通过driver.execute_script()方法执行JavaScript语句,driver.execute_script()方法的返回值即等于JavaScript变量的值,即result等于window.navigator.webdriver。

本文介绍如何在Firefox浏览器中使用Selenium时隐藏window.navigator.webdriver属性,以绕过网站的自动化检测。通过设置Firefox配置文件,可以将此属性值设为None。
1829

被折叠的 条评论
为什么被折叠?



