爬虫学习记录--1 无头模式

原创已于 2025-06-29 22:17:49 修改 · 738 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #学习

于 2025-06-27 01:18:15 首次发布

绕过无头模式的检测：

1.设置UA

无头模式下的user-agent

DrissionPage设置UA：

from DrissionPage import ChromiumPage, ChromiumOptions

co=ChromiumOptions()

#无头模式
co.headless()
#设置UA
co.set_user_agent(user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36")

page = ChromiumPage(co)

Playwright设置UA:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # 指定本地 Chrome 或 Chromium 可执行文件路径
    executable_path = r"C:\Program Files\Google\Chrome\Application\chrome.exe"  # Windows 示例

    browser = playwright.chromium.launch(
        executable_path=executable_path,
        headless=False
    )
    
    # 创建带有自定义 UA 的上下文
    context = browser.new_context(
        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    )
    
    page = context.new_page()
    page.goto("https://example.com")
    .....