前言:为什么使用Playwright?
因为:①Playwright内部自带浏览器,相对于selenium,无需配置驱动。②Playwright 内置智能等待(自动等待元素可操作、网络请求完成等),避免了 Selenium 中常见的显式等待(如 WebDriverWait
),测试更稳定且代码更简洁。③Playwright 的浏览器上下文(Context)隔离轻量级,启动更快,适合高并发场景。
1. 基础数据捕捉(文本、属性、HTML)
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page()
page.goto("https://example.com")
# 1. 获取页面标题
title = page.title()
print("页面标题:", title)
# 2. 获取元素文本内容
heading_text = page.text_content("h1")
print("H1 文本:", heading_text)
# 3. 获取元素属性(如 href)
link_href = page.get_attribute("a", "href")
print("链接地址:", link_href)
# 4. 获取整个元素的 HTML
div_html = page.inner_html(".some-div")
print("Div HTML:", div_html)
browser.close()
2. 捕捉列表数据(表格、商品列表等)
# 获取所有 <li> 文本
list_items = page.eval_on_selector_all("ul > li", "items => items.map(item => item.textContent.trim())")
print("列表数据:", list_items)
# 获取表格数据
table_data = page.eval_on_selector_all("table tr", """rows => {
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(cell => cell.textContent.trim());
});
}""")
print("表格数据:", table_data)
3. 捕捉动态加载数据(AJAX/SPA)
# 等待元素出现
page.wait_for_selector(".dynamic-content")
# 等待 API 请求完成
page.wait_for_response(lambda res: "/api/data" in res.url and res.status == 200)
# 获取动态 JSON 数据
json_data = page.evaluate("""() => {
return JSON.parse(document.querySelector('script#__NEXT_DATA__').textContent);
}""")
print("动态 JSON 数据:", json_data)
4. 捕捉截图和 PDF(用于存档或调试)
# 截取整个页面
page.screenshot(path="screenshot.png", full_page=True)
# 截取某个元素
element = page.query_selector("header")
element.screenshot(path="header.png")
# 生成 PDF
page.pdf(path="page.pdf", format="A4")
5. 高级技巧:拦截网络请求(Mock 或抓取 API 数据)
# 拦截 API 请求
def handle_route(route):
response = route.fetch()
json_data = response.json()
print("API 返回数据:", json_data)
route.continue_()
page.route("**/api/users", handle_route)
page.goto("https://example.com/api-page")
总结
场景 | 代码示例 |
---|---|
获取文本/属性 | textContent() , getAttribute() |
获取列表/表格数据 | $$eval() 或 eval_on_selector_all |
等待动态内容 | waitForSelector , waitForResponse |
截图/PDF | screenshot() , pdf() |
拦截网络请求 | page.route() |
Playwright 提供了比 Selenium 更简洁、更强大的数据捕捉能力,特别适合现代 Web 应用(如 React/Vue)和动态内容抓取。