nodeJs 爬虫

最新推荐文章于 2025-06-14 16:24:11 发布

墨墨博客

最新推荐文章于 2025-06-14 16:24:11 发布

阅读量3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： nodejs 文章标签：爬虫 node

本文链接：https://blog.youkuaiyun.com/wangweiscsdn/article/details/84332038

nodejs 专栏收录该内容

6 篇文章

订阅专栏

本文介绍使用Node.js进行网页爬取的技术细节，包括所需模块的安装（如request、cheerio），并提供两种爬虫实现方法：一种为基本的回调函数方式，另一种则采用Promise以实现更现代的异步编程模式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。

2、安装需要的模块：request、cheerio，如果用promise写的话，还要安装一个bluebird模块

3、我们爬虫的页面如下：

4、第一种方法代码如下：

// require 需要的模块，可以去npm和github看文档
var request = require('request'); 
const cheerio = require('cheerio')
const baseUrl = "https://blog.youkuaiyun.com/wangweiscsdn/article/list/";// 这个链接有没有觉得眼熟，嘿嘿

// 这个主要获取文章标题
function startReq(url) {
    request(url, function (error, response, body) {
        const $ = cheerio.load(body); // 这里可以获取当前url的页面的html
        const data = $('h4 > a');
        data.map((k) => {
            const title = data[k].children[0].next.next.data;
            // console.log('data[k]------------->', data[k].children[0].next.next);
            console.log(title);
        })
    });
}

for (let i = 1; i < 10; i++) {
    const url = baseUrl + i;
    startReq(url);
}

5、第二种用了promise方式代码如下：

var request = require('request');
var promise = require('bluebird');
const cheerio = require('cheerio')
const baseUrl = "https://blog.youkuaiyun.com/wangweiscsdn/article/list/";

function startReq(url) {
    return new Promise(function (resolve, reject) {
       let titles = []; 

        request(url, function (error, response, body) {
            const $ = cheerio.load(body);
            const data = $('h4 > a');
            
            data.map((k) => {
                const title = data[k].children[0].next.next.data;
                titles.push(title);
            })

            resolve(titles);
        });

    });
}

for (let i = 1; i < 10; i++) {
    const url = baseUrl + i;
    promise
        .all(startReq(url)) // all是peomise自带的方法，可以接受参数
        .then(function(titles) {
            console.log('scrawl complate!', titles);
        })
}