记忆碎片之python自动化渲染工具selenium和pyppeteer,完美避开网站webdriver识别

注意：网站可能有多种方法来识别webdriver，下面的方法仅适用于网站对webdriver的值为undefined时无法识别

from selenium.webdriver import Chrome
from selenium import webdriver
import time

options = webdriver.ChromeOptions()
# 去除浏览器被控制字样
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
browser = webdriver.Chrome(options=options, executable_path='./chromedriver')
# 在请求网页之前就定义浏览器navigator.webdriver的值为undefined，真正的避免被识别
# addScriptToEvaluateOnNewDocument 添加一段js脚本，在打开新的document时执行
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})
browser.get("http://www.porters.vip/features/webdriver.html")
# 编写修改navigator.webdriver值的js
# 下面这种js的方法，无异于掩耳盗铃，因为它是在网页加载之后才设置navigator.webdriver的值，适用于触发时的操作，例如
# 点击某个按钮时网页才检测navigator.webdriver的值，但是很多网站在一开始加载时就检测navigator.webdriver的值了
# script = """Object.defineProperty(navigator, 'webdriver', {
#               get: () => false
#             })
#         """
# browser.execute_script(script)
time.sleep(20)
# 定位按钮并点击
browser.find_element_by_css_selector("#article > button").click()
# 定位到文章内容元素
elements = browser.find_element_by_css_selector("#content")
time.sleep(1)
# 打印文章内容
print(elements.text)
browser.close()

import asyncio
from pyppeteer import launch


async def main():
    browser = await launch()
    page = await browser.newPage()
    # 同理，在请求链接之前就设置浏览器当前标签navigator.webdriver的值，如果要打开多个标签，那么每个标签都要设置该值
    await page.evaluateOnNewDocument('''() => {
            Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined
            })
            }
        ''')
    await page.goto("http://www.porters.vip/features/webdriver.html")
    # 定位按钮元素并点击
    await page.click("#article > button")
    # 等待
    await asyncio.sleep(5)
    # 网页截图保存
    await page.screenshot({"path": "webdriver.png"})
    await browser.close()


asyncio.get_event_loop().run_until_complete(main())