nodeJs 爬虫

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。

2、安装需要的模块：request、cheerio，如果用promise写的话，还要安装一个bluebird模块

3、我们爬虫的页面如下：

4、第一种方法代码如下：

// require 需要的模块，可以去npm和github看文档
var request = require('request'); 
const cheerio = require('cheerio')
const baseUrl = "https://blog.youkuaiyun.com/wangweiscsdn/article/list/";// 这个链接有没有觉得眼熟，嘿嘿

// 这个主要获取文章标题
function startReq(url) {
    request(url, function (error, response, body) {
        const $ = cheerio.load(body); // 这里可以获取当前url的页面的html
        const data = $('h4 > a');
        data.map((k) => {
            const title = data[k].children[0].next.next.data;
            // console.log('data[k]------------->', data[k].children[0].next.next);
            console.log(title);
        })
    });
}

for (let i = 1; i < 10; i++) {
    const url = baseUrl + i;
    startReq(url);
}

5、第二种用了promise方式代码如下：

var request = require('request');
var promise = require('bluebird');
const cheerio = require('cheerio')
const baseUrl = "https://blog.youkuaiyun.com/wangweiscsdn/article/list/";

function startReq(url) {
    return new Promise(function (resolve, reject) {
       let titles = []; 

        request(url, function (error, response, body) {
            const $ = cheerio.load(body);
            const data = $('h4 > a');
            
            data.map((k) => {
                const title = data[k].children[0].next.next.data;
                titles.push(title);
            })

            resolve(titles);
        });

    });
}

for (let i = 1; i < 10; i++) {
    const url = baseUrl + i;
    promise
        .all(startReq(url)) // all是peomise自带的方法，可以接受参数
        .then(function(titles) {
            console.log('scrawl complate!', titles);
        })
}