Playwright：用“网络侦探“的视角玩转接口数据获取

最新推荐文章于 2025-04-23 19:40:26 发布

阿福不是狗

最新推荐文章于 2025-04-23 19:40:26 发布

阅读量1.4k

点赞数 12

分类专栏： Playwright 文章标签：网络

本文链接：https://blog.youkuaiyun.com/lzf9651/article/details/146222473

版权

Playwright 专栏收录该内容

9 篇文章

订阅专栏

Playwright：用"网络侦探"的视角玩转接口数据获取

一、初识Playwright：比Selenium更聪明的浏览器管家

在数据采集的世界里，Playwright就像一位拥有超能力的管家机器人。它不仅能像Selenium一样操作浏览器，还自带"时光回溯"能力（自动等待机制）和"多面手"特性（支持Chromium、WebKit和Firefox）。但最让人惊艳的，是它独特的"网络监听"绝技——无需额外配置就能轻松捕获所有网络请求，就像在浏览器里安装了监控摄像头。

二、搭建你的第一个数据监听站

2.1 基础环境搭建

# 安装Playwright全家桶
pip install playwright
python -m playwright install

2.2 启动监听模式浏览器

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # 启动带有监控功能的浏览器
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    
    # 开启网络请求监听
    page.on("request", lambda request: print("发现请求:", request.url))
    page.on("response", lambda response: print("收到响应:", response.url))
    
    page.goto("https://example.com")
    browser.close()

运行这段代码，你会看到控制台像机场大屏一样滚动显示所有网络请求，每个资源的加载都逃不过你的眼睛。

三、深度解析数据捕获三大法宝

3.1 请求头获取：拆快递前的验货单

每个网络请求都像是一个快递包裹，请求头就是贴在包裹上的快递单。通过Playwright，我们可以轻松查看这些"快递单信息"：

def print_headers(request):
    print("快递单号（URL）:", request.url)
    print("寄件人信息（Headers）:")
    for key, value in request.headers.items():
        print(f"  {key}: {value}")

page.on("request", print_headers)

实战示例：捕获登录请求的认证信息

page.on("request", lambda req: 
    print("认证方式:", req.headers.get("authorization")) if "/login" in req.url else None)

3.2 Cookie获取：网站的身份记忆卡

Cookie就像网站发给用户的会员卡，Playwright提供了多种方式管理这些"记忆卡片"：

方式一：实时快照抓取

# 获取当前页面的所有Cookie
cookies = page.context.cookies()
print("当前持有的会员卡:", [c["name"] for c in cookies])

# 定位特定Cookie
auth_cookie = next((c for c in cookies if c["name"] == "session_id"), None)
print("贵宾卡详情:", auth_cookie)

方式二：智能监控模式

def cookie_monitor(cookie):
    if cookie["name"] == "tracking_id":
        print("检测到追踪Cookie！已自动屏蔽")
        return False  # 拦截特定Cookie
    return True

page.context.add_cookies([...])  # 添加自定义Cookie
page.context.clear_cookies()     # 清空所有Cookie

3.3 响应数据获取：拆解网站的快递包裹

处理响应数据就像拆包裹，Playwright提供多种拆包工具：

page.on("response", lambda response: 
    handle_response(response) if "/api/data" in response.url else None)

def handle_response(response):
    print("包裹标签:", response.status)
    print("包裹内容类型:", response.headers["content-type"])
    
    # 三种拆包方式任选
    if response.headers["content-type"] == "application/json":
        data = response.json()
        print("JSON包裹内容:", data)
    else:
        text = response.text()
        print("文本包裹内容:", text[:200])

实战案例：捕获AJAX请求

# 等待特定接口响应
with page.expect_response("**/api/products*") as response_info:
    page.click("#load-more")  # 点击加载更多按钮
response = response_info.value
print("新加载的商品数据:", response.json())

四、Playwright的独门秘籍

4.1 请求拦截与修改

像特工一样拦截并修改请求：

def intercept_request(route, request):
    if request.url.endswith(".jpg"):
        print("拦截图片请求:", request.url)
        route.abort()  # 拦截图片加载
    else:
        route.continue_()  # 放行其他请求

page.route("**/*", intercept_request)

4.2 全链路监控

构建完整的请求-响应追踪系统：

requests_map = {}

page.on("request", lambda req: requests_map.update({req.url: req}))
page.on("response", lambda res: requests_map[res.url].update_response(res))

4.3 性能分析

像医生一样诊断网站健康：

from playwright.sync_api import Route

def log_performance(route: Route):
    request = route.request
    timing = request.timing
    print(f"请求 [{request.method}] {request.url}")
    print(f"DNS查找耗时: {timing['dns']}ms")
    print(f"服务器响应耗时: {timing['response']}ms")
    route.continue_()

page.route("**/*", log_performance)