python获取渲染之后的网页_使用Pyppeteer抓取渲染网页

Pyppeteer是Puppeteer的非官方Python支持，Puppeteer是一个无头JavaScript的基于Chrome/Chromium浏览器自动化库，可以用于对渲染网页的抓取。

比较了Pyppeteer和Selenium，感觉还是Selenium在函数的语义上更清晰。

安装

pip install pyppeteer

用今日头条练习一下

import asyncio

from pyppeteer import launch

async def main():

# headless参数设为False，则变成有头模式

browser = await launch(

# headless=False

)

page = await browser.newPage()

# 设置页面视图大小

await page.setViewport(viewport={'width':1280, 'height':800})

# 是否启用JS，enabled设为False，则无渲染效果

await page.setJavaScriptEnabled(enabled=True)

await page.goto('https://www.toutiao.com/')

# 打印页面cookies

print(await page.cookies())

# 打印页面文本

print(await page.content())

# 打印当前页标题

print(await page.title())

# 抓取新闻标题

title_elements = await page.xpath('//div[@class="title-box"]/a')

for item in title_elements:

# 获取文本

title_str = await (await item.getProperty('textContent')).jsonValue()

print(await item.getProperty('textContent'))

# 获取链接

title_link = await (await item.getProperty('href')).jsonValue()

print(title_str)

print(title_link)

# 关闭浏览器

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

与百度首页交互

import time

import asyncio

from pyppeteer import launch

async def main():

browser = await launch(headless=False)

page = await browser.newPage()

await page.setViewport({'width': 1200, 'height': 800})

await page.goto('https://www.baidu.com')

# 在搜索框中输入python

await page.type('input#kw.s_ipt','python')

# 点击搜索按钮

await page.click('input#su')

# 等待元素加载，第一种方法，强行等待5秒

# await asyncio.sleep(5)

# 第二种方法，在while循环里强行查询某元素进行等待

while not await page.querySelector('.t'):

pass

# 滚动到页面底部

await page.evaluate('window.scrollBy(0, window.innerHeight)')

# 这些等待方法都不好用

# await page.waitForXPath('h3', timeout=300)

# await page.waitForNavigation(waitUntil="networkidle0")

# await page.waitForFunction('document.getElementByTag("h3")')

# await page.waitForSelector('.t')

# await page.waitFor('document.querySelector("#t")')

# await page.waitForNavigation(waitUntil='networkidle0')

# await page.waitForFunction('document.querySelector("").inner‌​Text.length == 7')

title_elements = await page.xpath('//h3[contains(@class,"t")]/a')

for item in title_elements:

title_str = await (await item.getProperty('textContent')).jsonValue()

print(title_str)

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

官方文档的两个示例

# 1 打开一个网页并做截图

# 首次运行示例时，pyppeteer会自动下载对应操作系统的chromium

import asyncio

from pyppeteer import launch

async def main():

browser = await launch()

page = await browser.newPage()

await page.goto('http://example.com')

await page.screenshot({'path': 'example.png'})

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

# 2 在网页上执行一段脚本

import asyncio

from pyppeteer import launch

async def main():

browser = await launch()

page = await browser.newPage()

await page.goto('http://example.com')

await page.screenshot({'path': 'example.png'})

dimensions = await page.evaluate('''() => {

return {

width: document.documentElement.clientWidth,

height: document.documentElement.clientHeight,

deviceScaleFactor: window.devicePixelRatio,

}

}''')

print(dimensions)

# >>> {'width': 800, 'height': 600, 'deviceScaleFactor': 1}

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

Pyppeteer和Puppeteer的不同点

Pyppeteer支持字典和关键字传参，Puppeteer只支持字典传参

# Puppeteer只支持字典传参

browser = await launch({'headless': True})

# Pyppeteer支持字典和关键字传参

browser = await launch({'headless': True})

browser = await launch(headless=True)

元素选择器方法名 $变为querySelector

# Puppeteer使用$符

Page.$()/Page.$$()/Page.$x()

# Pyppeteer使用Python风格的函数名

Page.querySelector()/Page.querySelectorAll()/Page.xpath()

# 简写方式为：

Page.J(), Page.JJ(), and Page.Jx()

Page.evaluate() 和 Page.querySelectorEval()的参数

Puppeteer的evaluate()方法使用JavaScript原生函数或JavaScript表达式字符串。Pyppeteer的evaluate()方法只使用JavaScript字符串，该字符串可以是函数也可以是表达式，Pyppeteer会进行自动判断。但有时会判断错误，如果字符串被判断成了函数，并且报错，可以添加选项force_expr=True，强制Pyppeteer作为表达式处理。

获取页面内容：

content = await page.evaluate('document.body.textContent', force_expr=True)

获取元素的内部文字：

element = await page.querySelector('h1')

title = await page.evaluate('(element) => element.textContent', element)