利用nodejs第三方库puppeteer来解决某些用js渲染页面的登陆页模拟登陆问题

最新推荐文章于 2025-10-18 15:05:20 发布

原创

最新推荐文章于 2025-10-18 15:05:20 发布 · 2.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#javascript #爬虫 #nodejs #node.js

本文介绍了如何利用Puppeteer库进行无头浏览器操作，模拟用户登录复杂反爬网站，如学校的教务系统。通过设置Puppeteer选项、伪造浏览器信息和模拟用户输入，成功实现了登录并获取数据的过程。此外，还提到了Puppeteer可以用于截图，并探讨了其在高并发场景下的局限性，以及在云函数环境中的适用性。Puppeteer的主要优点在于能处理JavaScript渲染和反爬策略，但速度较慢且消耗内存。

偶然发现一个叫puppeteer的库，这样解释的：“谷歌浏览器在17年自行开发了Chrome Headless特性,并与之同时推出了puppeteer,可以理解成我们日常使用的Chrome的无界面版本以及对其进行操控的js接口套装”。简单说就是模拟浏览器行为的第三方库，再说直白点，只要用浏览器访问的页面，它都可以去操作，强大之至。
想起朋友在做一个学校教务系统爬虫，苦于该校登陆界面是用js渲染的，登陆接口会拼接上js加密的字符串，这个字符串只有在浏览器下才会动态生成，js又是瑞数加密，破解成本极高，极难，便来尝试利用puppeteer来模拟登陆获取用户数据。
现在开始，打开登陆界面开始分析
登陆页面
用puppeteer其实就是人怎么操作的，将它写成代码即可
1：打开网址
2：输入学号
3：输入密码
4：点击登陆
实现成代码便是：

  const puppeteer = require('puppeteer');
  const browser = await puppeteer.launch({
   
   
    ignoreDefaultArgs: ["--enable-automation"],
    headless: true,
    args: ['--no-sandbox', '--disable-setuid-sandbox']
  }); //去除自动化测试的提醒

  const page = await browser.newPage();
  //为了像一个浏览器，伪造更多数据
  await page.evaluateOnNewDocument(() => {
   
    //在每个新页面打开前执行以下脚本
    const newProto = navigator.__proto__;
    delete newProto.webdriver; //删除navigator.webdriver字段
    navigator.__proto__ = newProto

最低0.47元/天解锁文章