Selenium如何隐藏Firefox geckodriver的window.navigator.webdriver属性(Firefox88.0已失效)

本文介绍如何在Firefox浏览器中使用Selenium时隐藏window.navigator.webdriver属性,以绕过网站的自动化检测。通过设置Firefox配置文件,可以将此属性值设为None。

备注:该方法已失效,Firefox88.0在浏览器首选项中删除了dom.webdriver.enabled配置项。

在当前全民爬虫的形势下,Selenium已经成为爬虫必备技能,自然Selenium也成为反爬必备的检测项目,常见识别Selenium的方法主要通过检测浏览器的window.navigator.webdriver属性。

下面我们看下不同浏览器的window.navigator.webdriver属性值。

正常Firefox浏览器

在这里插入图片描述

Selenium+geckodriver

代码:

from selenium import webdriver

options = webdriver.FirefoxOptions()
options.add_argument("--headless") 
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()

结果为:

True

去除Selenium+geckodriverwindow.navigator.webdriver属性

代码:

from selenium import webdriver

options = webdriver.FirefoxOptions()
options.add_argument("--headless") 
options.add_argument("--disable-gpu")
profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)# 去除window.navigator.webdriver属性的核心语句
driver = webdriver.Firefox(options=options,firefox_profile=profile)
js="return window.navigator.webdriver"
result=driver.execute_script(js)
print(result)
driver.quit()

结果为:

None

总结

去除window.navigator.webdriver属性的核心语句:

profile = webdriver.FirefoxProfile()
profile.set_preference("dom.webdriver.enabled", False)
driver = webdriver.Firefox(options=options,firefox_profile=profile)

显示JavaScript变量的核心语句:

js="return window.navigator.webdriver"
result=driver.execute_script(js)

JavaScript变量前加上return,然后通过driver.execute_script()方法执行JavaScript语句,driver.execute_script()方法的返回值即等于JavaScript变量的值,即result等于window.navigator.webdriver

import time,random import requests import urllib3 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.edge.service import Service from selenium.webdriver.edge.options import Options urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) url_gouwudang = r"https://www.gwdang.com/v2/trend" headers = {r'User-Agent':r"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36 Edg/140.0.0.0"} options = Options() options.add_argument("--disable-blink-features=AutomationControlled") options.add_experimental_option("excludeSwitches", ["enable-automation", "enable-logging"]) options.add_experimental_option("useAutomationExtension", False) user_agents = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36 Edg/140.0.0.0" ] options.add_argument(f"user-agent={random.choice(user_agents)}") options.add_argument(f"--window-size={random.randint(1200,1920)},{random.randint(800,1080)}") service = Service(executable_path="./edgedriver/msedgedriver.exe") driver = webdriver.Edge(service=service,options=options) driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }); Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3] }); Object.defineProperty(navigator, 'languages', { get: () => ['zh-CN', 'zh', 'en'] }); """ }) driver.get(url=url_gouwudang) time.sleep(30) 为什么这么写还是被检测到了
09-27
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值