Node.JS 简单爬虫

   近日闲来无事，学习了下Nodejs爬虫,

  这里主要使用到了express，cheerio，nodegrass 三个依赖库，

只需新建一个项目目录 然后npm install express 

cheerio( https://github.com/cheeriojs/cheerio  ) 

其他依赖，请自己根据需求添加

然后新建app.js文件如下：

var express = require('express');
var cheerio = require('cheerio');
var nodegrass = require('nodegrass');

//这里我以爬取新浪NBA球员数据为例
var targetUrl = 'http://nba.sports.sina.com.cn/players.php?key=t';

nodegrass.get(targetUrl,function(data,status,headers){//发送请求
var $ = cheerio.load(data); //这里这句很关键，执行之后 后面就可以像Jquery那样操作选择器了
//通过CSS selector来筛选数
//相信每个会JQ或者CSS的都基本能看懂
//以下根据需求筛选自己想要的信息
$('#table980middle #playerslist a').each(function (idx, element) {

var name = $(element).text();
});
},'gbk')//注意这里可以设置编码
.on('error', function(e) {
    console.log("Got error: " + e.message);
 });

是不是很简单，当然这只是简单的爬取数据，值得注意的是请求的时候记得设置编码