Google爬虫利器-- puppeteer  

最新推荐文章于 2025-05-30 09:01:01 发布

转载最新推荐文章于 2025-05-30 09:01:01 发布 · 163 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5c127b56e51d4536ee0b9899

文章标签：

#爬虫

本文介绍了一种使用 Puppeteer 的 Node.js 脚本爬取豆瓣电影数据的方法，包括电影ID、海报、名称及评分。通过点击加载更多按钮，获取多页数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码

const puppeteer = require('puppeteer')

const url = 'https://movie.douban.com/tag/#/?sort=U&range=6,10&tags='

const sleep = time => {
    return new Promise((resolve, reject) => {
        setTimeout(resolve, time)
    })
}
!(async () => {
  // 打开 chrome 浏览器 
  console.log('打开浏览器');
  const browser = await puppeteer.launch({
      args: ['--no-sandbox'],
      dumpio: false
  });

  // 打开一个空白页面
  console.log('打开空白页面');
  const page = await browser.newPage();

  // 输入 url
  console.log('输入url');
  await page.goto(url,{
    waitUntil: 'networkidle2'
  });

  // 等待3秒钟
  console.log('等待3秒钟');
  await sleep(3000)

  // 等待 选择器对应的元素 出现在 page 上
  console.log('等待 选择器对应的元素 出现在 page 上');
  await page.waitForSelector('.more')

  for(let i = 0; i <= 1; i++){
      await sleep(3000) 
      // 点击更多 出现 在页面上后 每隔3秒 点击一次该按钮 连续2次(目的是为了出现两页的数据)
      console.log('点击更多');
      await page.click('.more')
  }

  // 评估页面
  const result = await page.evaluate(() => {
    //该回调函数 可视作 当前页面内的 脚本 ，用于获取页面数据
    const items = document.querySelectorAll('.list-wp>a')
    const links = []
    console.log(items);
    for(let item of items){
        let doubanId = item.querySelector('div').getAttribute('data-id')
        let poster = item.querySelector('div>span.pic>img').getAttribute('src')
        let title = item.querySelector('p>span.title').textContent
        let rate = item.querySelector('p>span.rate').textContent
        links.push({ doubanId, poster, title, rate })
    }

    return links
  })

  browser.close();

  console.log(result);
})();
复制代码