selenium无界面执行和反爬

最新推荐文章于 2025-12-03 23:13:32 发布

原创最新推荐文章于 2025-12-03 23:13:32 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #python #测试工具 #开发语言

本文介绍如何使用Selenium进行无界面浏览器操作，以实现网页自动化抓取，同时通过设置参数规避被目标网站检测为爬虫的风险，确保抓取任务稳定运行。

selenium无界面执行和反爬

无界面执行

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

url="https://www.baidu.com"
chrome_options=Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-gpu")

chrome=webdriver.Chrome(executable_path="chromedriver",chrome_options=chrome_options)

chrome.get(url)
print(chrome.page_source)

chrome.quit()

规避服务端发现selenium请求的风险

from selenium import webdriver
#实现无可视化界面
from selenium.webdriver.chrome.options import Options
#实现规避检测
from selenium.webdriver import ChromeOptions

url="https://www.baidu.com"

#无可视化
chrome_options=Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-gpu")
#规避检测
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])

chrome=webdriver.Chrome(executable_path="chromedriver",chrome_options=chrome_options,options=option)

chrome.get(url)
print(chrome.page_source)

chrome.quit()