如何用pyppeteer获取数据，模拟登陆？

最新推荐文章于 2024-11-24 11:36:41 发布

原创

最新推荐文章于 2024-11-24 11:36:41 发布 · 689 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python

本文介绍了如何使用Python库pyppeteer进行网页数据抓取和模拟登录。首先，讲解了安装pyppeteer的步骤，接着通过一个简单的爬虫示例介绍pyppeteer的基础用法。然后，阐述了通过分析网页接口请求获取结构化数据的方法，并给出实例。最后，展示了如何利用pyppeteer进行无头浏览器的模拟登录，以印象笔记为例，提供了相应的Python代码。

本指南适合0基础的读者一步步练习，从而上手python，有基础的可以快速浏览，了解整个思路即可。

Python资源共享群：484031800

安装环境

本指南使用的是python开发环境，先用pip安装 pyppeteer库

python3 -m pip install pyppeteer

详细可以参考官方github：

https://github.com/miyakogi/pyppeteer

hello world！

初次与pyppeteer见面，我们运行下最简单的爬虫代码：

#引用相关的库
import asyncio
from pyppeteer import launch
async def main():
    browser = await launch()
    page = await browser.newPage()
    #想爬取哪个页面，修改对应的url即可，
    #注意timeout的设置，因为有时候网速比较慢，可以把超时的时间设得久一点。
    await page.goto('https://getgetai.com',{"timeout":3*60000})
    #screenshot是截屏的命令，path设置截屏后的图片保存路径跟名称
    #await page.screenshot({'path': 'example.png'})
    #evaluate是注入js到url的页面里，需要具备js的相关知识
    result = await page.evaluate('''() => {
           //获得网页的标题
           var res=document.title
           //把结果返回给python
           return res
    }''')

最低0.47元/天解锁文章