爬虫-Playwright自动化浏览器使用手册

最新推荐文章于 2025-10-13 10:49:25 发布

原创最新推荐文章于 2025-10-13 10:49:25 发布 · 1.6k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #自动化 #html

爬虫使用手册专栏收录该内容

7 篇文章

订阅专栏

该文章已生成可运行项目，

Playwright

简介
环境安装
官方文档
Playwright脚本流程
- 同步模式
- 异步模式
标签定位
Context上下文
规避检测
- 查看网页是否检测Playwright
- 浏览器接管规避检测
常用api
屏幕录制

简介

Playwright 是一个用于自动化浏览器操作的开源工具，由 Microsoft 开发和维护。它支持多种浏览器（包括 Chromium、Firefox 和 WebKit）和多种编程语言（如 Python、JavaScript 和 C#），可以用于测试、爬虫、自动化任务等场景。

环境安装

安装playwright的python版本

pip install playwright

安装Playwright所需的所有工具插件和所支持的浏览器

playwright install

官方文档

https://playwright.dev/python/docs/intro

Playwright脚本流程

导入模块
创建playwright管理对象
创建浏览器
创建页面
访问地址
获取数据

同步模式

# 导入同步模块
from playwright.sync_api import sync_playwright  

# 创建一个Playwright的管理器对象
with sync_playwright() as p: # p = sync_playwright()
    #基于p创建一个浏览器对象（谷歌浏览器对象）
    bro = p.chromium.launch(headless=False)
    #创建一个浏览器页面
    page = bro.new_page()
    #在指定的页面中进行请求发送
    page.goto('https://www.baidu.com')
    #暂定2s中
    page.wait_for_timeout(2000)
    #获取访问页面的标题
    title = page.title()
    #获取页面的页面源码数据（重要=》可见即可得）
    page_text = page.content()
    print(page_text,title)

    page.close()
    bro.close()

异步模式

import asyncio
from playwright.async_api import async_playwright
#封装一个特殊的函数
async def main():
    async with async_playwright() as p:  # p = sync_playwright()
        # 基于p创建一个浏览器对象（谷歌浏览器对象）
        bro = await p.chromium.launch(headless=False)
        # 创建一个浏览器页面
        page = await bro.new_page()
        # 在指定的页面中进行请求发送
        await page.goto('https://www.baidu.com')
        # 暂定2s中
        await page.wait_for_timeout(2000)
        # 获取访问页面的标题
        title = await page.title()
        # 获取页面的页面源码数据（重要=》可见即可得）
        page_text = await page.content()
        print(page_text, title)

        await page.close()
        await bro.close()

asyncio.run(main())

标签定位

CSS选择器定位

语法结构：page.locator()
- 参数：标签/id/层级/class 选择器

xpath定位

语法结构：page.locator()
- 参数：xpath表达式

文本定位

语法结构：page.get_by_text()
- 参数：文本内容

交互操作

点击元素， click() 方法
元素内输入文本， fill() 方法

Context上下文

浏览器的上下文管理对象Context可以用于管理Context打开/创建的多个page页面。并且可以创建多个Context对象，那么不同的Context对象打开/创建的page之间是相互隔离的（每个Context上下文都有自己的Cookie、浏览器存储和浏览历史记录）。

context = browser .new_context() ：创建上下文管理对象
pages = context.pages ：使用上下文管理对象获取浏览器打开的所有page页面
page.bring_to_front() ：浏览器停留在此page页面

# 封装页面切换的函数
def switch_to_page(context,title):
    for page in context.pages:
        if title == page.title():
            #浏览器停留在此page页面
            page.bring_to_front()
            return page

规避检测

如果网站有对Playwright采取监测机制的话，比如正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined或者为false。而使用Playwright访问则该值为true。

查看网页是否检测Playwright

print(page.evaluate('window.navigator.webdriver'))

浏览器接管规避检测

首先右键 Chrome 浏览器桌面图标，找到 chrome.exe 的安装路径，然后将其添加到环境变量Path中
在任意目录下新建一个空白文件夹(playwright_chrome_data)：用于保存接管的浏览器的运行数据。
打开cmd输入命令启动chrome浏览器:

chrome.exe --remote-debugging-port=8899 --user-data-dir="E:\playwright_chrome_data"

–remote-debugging-port 是指定浏览器运行端口，只要没被占用就行
–user-data-dir 指定运行浏览器的运行数据，新建一个干净目录，不影响系统原来的数据

执行后会启动chrome浏览器
- 可以在浏览器中手动访问百度。
在你已经打开的浏览器页面，手工操作登录，登录成功后，让playwright 继续操作。
Playwright接管浏览器

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp('http://localhost:8899/')
    # 获取page对象
    page = browser.contexts[0].pages[0]
    #该操作会直接作用在接管的浏览器中
    page.locator('//*[@id="kw"]').fill('haha')
    print(page.url)
    print(page.title())

常用api

from playwright.sync_api import sync_playwright ：导入同步模块
from playwright.sync_api import sync_playwright ：导入异步模块
with sync_playwright() as p: ：创建playwright管理对象
browser = p.chromium.launch(headless=False, slow_mo=1000) ：创建谷歌浏览器
browser = p.chromium.connect_over_cdp(‘http://localhost:8899/’) : 创建接管谷歌浏览器
context = browser .new_context() ：创建上下文管理对象
pages = context.pages ：使用上下文管理对象获取浏览器打开的所有page页面
context = browser.new_context(storage_state=“.json”) ：携带cookie信息
page = browser.new_page() ：创建页面
page = browser.contexts[0].pages[0] ：创建接管页面
page.goto(‘url’) ：跳转指定url
page.wait_for_timeout(时间) ：间隔时间
page.title() ：获取页面标题
page.content() ：获取页面内容
page.locator(‘css选择器/xpath’) ：标签定位
page.get_by_text(‘文本’) ：通过文本定位元素
page.bring_to_front() ：浏览器停留在此page页面
page.evaluate(‘js代码’) ：允许在页面中执行js代码
locator.all() ：获取所有匹配元素
locator.count() ：统计匹配元素数量
locator.nth(index) ：选择第N个元素
page.locator(‘定位’).fill(‘内容’) ：在指定位置输入内容
page.locator(‘定位’).press_sequentially(‘内容’,delay=时间) ：间隔时间输入
page.locator(‘定位’).click() ：在指定位置点击
page.go_back() ：后退操作
元素.inner_text() ：获取可见文本
元素.get_attribute(attrName) ：获取元素属性值

屏幕录制

创建一个py文件，比如：main.py
在终端中，执行如下指令：
- playwright codegen -o main.py
  - 将屏幕录制生成的代码保存到main.py文件中
- playwright codegen --viewport-size=800,600 www.baidu.com -o main.py
  - 访问指定网址，并且设置浏览器窗口大小
- playwright codegen --save-storage=auth.json https://www.17k.com
  - 在屏幕录制时，进行登录操作，登录后，cookie信息会被保存到auth.json文件中
- playwright codegen --load-storage=auth.json https://www.17k.com -o main.py
  - 基于auth.json进行屏幕录制，会自动进入到登录成功后的页面中
- playwright codegen --device=“iPhone 13” -o main.py
  - 模拟手机设备进行网络请求（只支持手机模拟器，无需单独安装）
  - 支持的移动端设备如下：目前对安卓设备的覆盖率不高
    - “Blackberry PlayBook”, “Blackberry PlayBook landscape”, “BlackBerry Z30”, “BlackBerry Z30 landscape”, “Galaxy Note 3”, “Galaxy Note 3 landscape”, “Galaxy Note II”, “Galaxy Note II landscape”, “Galaxy S III”, “Galaxy S III landscape”, “Galaxy S5”, “Galaxy S5 landscape”, “Galaxy S8”, “Galaxy S8 landscape”, “Galaxy S9+”, “Galaxy S9+ landscape”, “Galaxy Tab S4”, “Galaxy Tab S4 landscape”, “iPad (gen 5)”, “iPad (gen 5) landscape”, “iPad (gen 6)”, “iPad (gen 6) landscape”, “iPad (gen 7)”, “iPad (gen 7) landscape”, “iPad Mini”, “iPad Mini landscape”, “iPad Pro 11”, “iPad Pro 11 landscape”, “iPhone 6”, “iPhone 6 landscape”, “iPhone 6 Plus”, “iPhone 6 Plus landscape”, “iPhone 7”, “iPhone 7 landscape”, “iPhone 7 Plus”, “iPhone 7 Plus landscape”, “iPhone 8”, “iPhone 8 landscape”, “iPhone 8 Plus”, “iPhone 8 Plus landscape”, “iPhone SE”, “iPhone SE landscape”, “iPhone X”, “iPhone X landscape”, “iPhone XR”, “iPhone XR landscape”, “iPhone 11”, “iPhone 11 landscape”, “iPhone 11 Pro”, “iPhone 11 Pro landscape”, “iPhone 11 Pro Max”, “iPhone 11 Pro Max landscape”, “iPhone 12”, “iPhone 12 landscape”, “iPhone 12 Pro”, “iPhone 12 Pro landscape”, “iPhone 12 Pro Max”, “iPhone 12 Pro Max landscape”, “iPhone 12 Mini”, “iPhone 12 Mini landscape”, “iPhone 13”, “iPhone 13 landscape”, “iPhone 13 Pro”, “iPhone 13 Pro landscape”, “iPhone 13 Pro Max”, “iPhone 13 Pro Max landscape”, “iPhone 13 Mini”, “iPhone 13 Mini landscape”, “iPhone 14”, “iPhone 14 landscape”, “iPhone 14 Plus”, “iPhone 14 Plus landscape”, “iPhone 14 Pro”, “iPhone 14 Pro landscape”, “iPhone 14 Pro Max”, “iPhone 14 Pro Max landscape”, “Kindle Fire HDX”, “Kindle Fire HDX landscape”, “LG Optimus L70”, “LG Optimus L70 landscape”, “Microsoft Lumia 550”, “Microsoft Lumia 550 landscape”, “Microsoft Lumia 950”, “Microsoft Lumia 950 landscape”, “Nexus 10”, “Nexus 10 landscape”, “Nexus 4”, “Nexus 4 landscape”, “Nexus 5”, “Nexus 5 landscape”, “Nexus 5X”, “Nexus 5X landscape”, “Nexus 6”, “Nexus 6 landscape”, “Nexus 6P”, “Nexus 6P landscape”, “Nexus 7”, “Nexus 7 landscape”, “Nokia Lumia 520”, “Nokia Lumia 520 landscape”, “Nokia N9”, “Nokia N9 landscape”, “Pixel 2”, “Pixel 2 landscape”, “Pixel 2 XL”, “Pixel 2 XL landscape”, “Pixel 3”, “Pixel 3 landscape”, “Pixel 4”, “Pixel 4 landscape”, “Pixel 4a (5G)”, “Pixel 4a (5G) landscape”, “Pixel 5”, “Pixel 5 landscape”, “Pixel 7”, “Pixel 7 landscape”, “Moto G4”, “Moto G4 landscape”