新一代爬取JavaScript渲染页面的利器-playwright（一）

原创

已于 2024-01-04 17:23:06 修改 · 1.8k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

于 2024-01-03 16:06:26 首次发布

Playwright的使用

Playwright是微软在2020年初开源的一款新一代自动化测试工具，其功能和**Selenium**、Pyppeteer类似，都可以驱动浏览器进行自动化操作，但是也具备了Selenium、Pyppeteer不具备的更好的API，是新一代爬取JavaScrip渲染页面的利器。

1.Playwright的特点

Playwright支持当前所有的主流浏览器，提供完善的自动化控制API。
Playwright支持移动端页面测试，使用设备模拟技术，可以在移动web浏览器中测试响应式的web应用程序。
Playwright支持所有浏览器的无头模式和非无头模式。
Playwright安装配置比较简单，安装过程中会自动安装对应的驱动，无需额外配置WebDriver等。
Playwright提供和自动等待相关的API，在页面加载时会自动等待对应的节点加载，大大减少了API编写的复杂度。

2.安装

首先，确保python版本大于或等于3.7。

pip3 install playwright

安装完成后执行初始化操作。

playwright install

这是会自动安装Chromium、Firefox、WebKit浏览器和一些驱动。

3。基本使用

Playwright支持两种编写模式，一种是和Pyppetter一样的异步模式，一种是和Selenium一样的同步模式，可以根据不同的实际需求来进行选择。

# 同步模式
# 调用了sync_playwright方法，该方法返回值是PlaywrightContext,可以理解为浏览器上下文管理器
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    for browser_type in [p.chromium,p.firefox,p.webkit]:
        # 不把lauch的headless设置为False，默认为无头浏览器
        browser = browser_type.launch(headless=False)
        # 新建选项卡，返回page对象
        page = browser.new_page()
        page.goto('http://www.baidu.com/')
        # 截图并定义文件名称
        page.screenshot