puppeteer ---node爬虫

Node.js Puppeteer 实战

最新推荐文章于 2024-12-23 08:30:00 发布

原创最新推荐文章于 2024-12-23 08:30:00 发布 · 446 阅读

0 ·

CC 4.0 BY-SA版权

JS 专栏收录该内容

12 篇文章

订阅专栏

本文介绍了一个使用 Node.js 的 Puppeteer 模块进行网页抓取的实际案例。演示了如何模拟 iPhone 6 设备访问百度首页，并获取页面尺寸及截图。

/*
* node爬虫测试:
*   https://github.com/GoogleChrome/puppeteer
* */


const puppeteer = require('puppeteer');
//模拟登陆设备
const devices = require('puppeteer/DeviceDescriptors');
const iPhone = devices['iPhone 6'];
//判断是否调试
let isdev = function (flag) {
  if (flag) {
    return {
      'headless': false,
      'slowMo': 50000000000000
    }
  }
}


async function findPage() {
  const browser = await puppeteer.launch(isdev(true));  //启动爬虫
  const page = await browser.newPage();  //新建浏览器页面
  await page.emulate(iPhone);
  await page.goto('http://www.baidu.com');  //网址的跳转

  //页面信息抓取...
  const dimensions = await page.evaluate(() => {
    return {
      width: document.documentElement.clientWidth,
      height: document.documentElement.clientHeight,
      deviceScaleFactor: window.devicePixelRatio,
    };
  });
  console.log('Dimensions:', dimensions);
  await page.waitFor(2 * 1000);  //打开页面之后,等待

  //页面截图
  await page.screenshot({path: './a.png'});
  await browser.close();  //关闭浏览器页面
}

findPage();