Python爬虫神器pyppeteer，对 js 加密降维打击

最新推荐文章于 2024-06-24 22:42:23 发布

原创

最新推荐文章于 2024-06-24 22:42:23 发布 · 936 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #编程

本文介绍了Python爬虫库pyppeteer的使用，通过pyppeteer对JavaScript加密网站进行降维打击，实现无头浏览器自动化测试和爬虫。文章详细讲解了pyppeteer的重要接口，包括注入JS脚本、截获request和response，并通过实例展示了如何爬取拼多多搜索页面的数据，实现页面自动下拉。

爬虫神器pyppeteer，对 js 加密降维打击

pyppeteer 是对无头浏览器 puppeteer 的 Python 封装。无头浏览器广泛用于自动化测试，同时也是一种很好地爬虫思路。

使用 puppeteer（等其他无头浏览器）的最大优势当然是 对 js 加密实行降维打击 ，完全无视 js 加密手段，对于一些需要登录的应用，也可以模拟点击然后保存 cookie。 而很多时候前端的加密是爬虫最难攻克的一部分 。当然puppeteer也有劣势，最大的劣势就是相比面向接口爬虫效率很低，就算是无头的chromium，那也会占用相当一部分内存。另外额外维护一个浏览器的启动、关闭也是一种负担。

这篇文章我们来写一个简单的 demo，爬取拼多多搜索页面的数据，最终的效果如下：

我们把所有 api 请求的原始数据保存下来：

示例 json 文件如下：

开发环境

python3.6+

最好是 python3.7，因为 asyncio 在 py3.7中加入了很好用的 asyncio.run() 方法。

安装pyppeteer

如果安装有问题请去看官方文档。

python3 -m pip install pyppeteer

安装 chromium

你懂的，天朝网络环境很复杂，如果要用 pyppeteer 自己绑定的 chromium ，半天都下载不下来，所以我们要手动安装，然后在程序里面指定 executablePath 。

下载地址： www.chromium.org/getting-inv…

hello world

pyppeteer 的 hello world 程序是前往 exmaple.com 截个图：

import asyncio
from pyppeteer import launch

async def main():
    browser = await launch({
        #

最低0.47元/天解锁文章