node.js学习之路一 ---爬虫

慧、新

于 2018-10-09 14:42:53 发布

阅读量211

点赞数

CC 4.0 BY-SA版权

分类专栏： nodejs

本文链接：https://blog.youkuaiyun.com/Endeavor_No1/article/details/82981958

nodejs 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何利用Express框架配合SuperAgent和Cheerio抓取CNode.js论坛的帖子标题和链接。通过实例代码展示了从请求网页到解析数据的全过程。

是的，上班时间比较闲的我又来了，趁着这个时候好好吸收吸收= =。

1.npm init （当当当package.json出现啦～）

2.npm install --save express superagent cheerio(安装这三个，第一个是框架，第二个是用来抓取网页的，第三个是用来分析网页的）

superagent(http://visionmedia.github.io/superagent/ )

cheerio(https://github.com/cheeriojs/cheerio )

var express=require('express');
var superagent=require('superagent');
var cheerio=require('cheerio');
var app=express();
app.get('/',function(req,res,next){
    superagent.get('https://cnodejs.org/')
        .end(function(err,sres){
            if(err){
                return next(err);
            }
            var $=cheerio.load(sres.text);
            var items=[];
            $('#topic_list .topic_title').each(function(idx,ele){
                var $element = $(ele);
                items.push({
                title: $element.attr('title'),
                href: $element.attr('href')
                });
            })
            res.send(items);
        })
})

app.listen(1998,function(req,res){
    console.log('1998')
})