用 puppeteer 获取 jd 商品评论

最新推荐文章于 2024-08-05 16:21:44 发布

转载最新推荐文章于 2024-08-05 16:21:44 发布 · 276 阅读

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5b405a6b6fb9a04fdf39bee6

本文介绍了一种使用Puppeteer爬取京东商品评论的方法。通过Headless Chrome API，实现了自动打开浏览器、导航到指定页面、点击评论标签并滚动加载全部评论内容的功能。此过程还涉及了JavaScript代码的注入，用于实现页面滚动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

jd 的评论是 js 渲染的，几年前尝试爬过，现在用 puppeteer 一试，清爽多了。 puppeteer 是 Headless Chrome Node API，官方仓库：github.com/GoogleChrom…

由于很简单，直接看代码注释

const puppeteer = require('puppeteer');
const autoScroll = require('./autoScroll');
const url = 'https://item.jd.com/4311178.html';

async function crawler() {
    // 新开一个浏览器，headless false 方便可视化代码的操作
    let browser = await puppeteer.launch({
        headless: false
    });

    // 开一个 tab 页
    let page = await browser.newPage();
    // 加载 url 页面
    await page.goto(url, {
        waitUntil: 'networkidle2'
    });

    // 等一等
    await page.waitFor(500);

    // 点开评论 tab
    await page.click('li[data-anchor="#comment"]');

    // 滚一滚，让评论加载加载，这个方法内容继续往下看
    // 不滚也可以，单纯想展示一下 page.evaluate()
    await autoScroll(page);

    // 获取评论，多数情况直接操作 dom 就可以了
    // $eval 对应 document.querySelector，$$eval 对应 document.querySelectorAll，够用了
    let comments = await page.$$eval('.comment-item .comment-con', els => {
        return els.map(item => item.innerText);
    });

    // 输出一下评论，宣告抓到了
    comments.forEach((item, index) => {
        console.log(`comment ${index} =======================`);
        console.log(item);
    });
    // 关闭浏览器
    await browser.close();
}

crawler();
复制代码

autoScroll 代码

async function autoScroll(page){
    //  page.evaluate 能获取上下文，相当于在当前页面执行 js，想干啥就干啥
    await page.evaluate(() => {
        // 返回 promise，evaluate 会等 promise resolve
        return new Promise((resolve, reject) => {
            let totalHeight = 0;
            let distance = 200;
            let timer = setInterval(() => {
                let scrollHeight = document.body.scrollHeight;
                window.scrollBy(0, distance);
                totalHeight += distance;
                if(totalHeight >= scrollHeight){
                    clearInterval(timer);
                    resolve();
                }
            }, 500);
        });
    });
}

module.exports = autoScroll;复制代码