python爬虫之pyppeteer库

pyppeteer

pyppeteer 是非官方 Python 版本的 Puppeteer 库,浏览器自动化库,由日本工程师开发。

Puppeteer 是 Google 基于 Node.js 开发的工具,调用 Chrome 的 API,通过 JavaScript 代码来操纵 Chrome 完成一些操作,用于网络爬虫、Web 程序自动测试等。

pyppeteer 使用了 Python 异步协程库 asyncio,可整合 Scrapy 进行分布式爬虫。

puppet 木偶,puppeteer 操纵木偶的人。

pyppeteer和puppeteer的不同点

  • pyppeteer支持字典和关键字传参,puppeteer只支持字典传参
# puppeteer支支持字典传参
browser = await launch({
   'headless':True})

# pyppeteer支持字典和关键字传参
browser = await launch({
   'headless':True})
browser = await launch(headless=True)
  • 元素选择器方法名$变为querySelector
# puppeteer使用$符
page.$()/page.%%()/page.$x()
# pyppeteer使用python风格的函数名
page.querySelector()/page.querySelectorAll()/page.xpath()

# 简写方式
page.J()/page.JJ()/page.Jx()
  • page.evluate()和page.querySelectorEval()的参数

puppeteer的evaluate()方法使用JavaScript原生函数或JavaScript表达式字符串。pyppeteer的evaluate()方法只使用JavaScript字符串,该字符串可以是函数也可以是表达式,pyppeteer会进行自动判断。但有时会判断错误,如果字符串被判断成了函数,并且报错,可以添加参数force_expr=True,强制pyppeteer作为表达式处理。

获取网页内容:

content = await page.evaluate('document.body.textContent',force_expr=True)

获取元素的内部文字:

element = await page.querySelector('h1')
title = await page.evaluate('(element) => element.textContent',element)

安装

1、安装pyppeteer

pip install pyppeteer

2、安装chromium

pyppeteer-install

简单使用

import asyncio
from pyppeteer import launch

async def main():
    url = 'https://www.toutiao.com/'
    # headless参数设置为Falase,则变成有头模式
    browser = await launch(headless=False, ignoreDefaultArgs=['--enable-automation'])
    page = await browser.newPage()
    
    # 设置页面视图大小
    awai
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

努力生活的黄先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值