简单的爬虫

前文提到，nodejs可以做很多东西。但是，我一直觉得，nodejs是不合适去写网站的，至少现在不合适。所以，在这里我介绍怎么用nodejs去做一个简单的爬虫。

（想了解nodejs怎么写网站的话，你可以点这里： https://github.com/nswbmw/N-blog/wiki/_pages）

接下来我要实现的爬虫的功能：访问一个url，然后获取里面需要的信息。

准备条件：安装好nodejs的环境，（建议在linux上学习，因为windows上面，很多第三方库都不支持，常常安装失败。）

预备知识：用nodejs写过helloworld的demo。

（我的笔记本常常出问题，所以现在我的教程只能基于windows的环境 &&nodejs.version = v.0.10.10 ， 不过代码在linux下一样照样可以正常运行）

第一步：按照 Infoq上面的田永强叔叔的建议，我习惯采用如下的目录结构，所以，大家新建一个这样的目录结构：

├── Makefile // 构建文件，通常用于启动单元测试运行等操作
├── app.js // 应用文件
├── automation  // 自动化测试目录
├── bin  // 存放启动应用相关脚本的目录
├── conf  // 配置文件目录
├── controllers  // 控制层目录
├── helpers  // 帮助类库
├── middlewares  // 自定义中间件目录
├── models  // 数据层目录
├── node_modules  // 第三方模块目录
├── package.json  // 项目包描述文件
├── public  // 静态文件目录
│   ├── images  // 图片目录
│   ├── libs  // 第三方前端JavaScript库目录
│   ├── scripts  // 前端JavaScript脚本目录
│   └── styles  // 样式表目录
├── test  // 单元测试目录
└── views  // 视图层目录

第二步：在你的package.json敲下：

{
  "name": "simple_spider",
  "version": "0.0.1",
  "scripts": {
    "start": "node app.js"
  },
  "dependencies": {
    "jQuery"  :"*",
    "jsdom"   : "https://github.com/tmpvar/jsdom/tarball/4cf155a1624b3fb54b2eec536a0c060ec1bab4ab",
    "xmlhttprequest" : "*",
    "request" : "*",
    "htmlparser" : "*"
  }
}

这个配置文件，主要是用来解决nodejs中的包依赖关系，就像linux系统中各种包管理器来安装软件一样。

name = 应用的名字 ； version = 应用的版本 ；

dependencies = 依赖关系主要在这里声明。例如上面的配置文件，就说明了本应用需要：jQuery包（与前端的jquery库不是一个东西，但功能差不多。jsdom ， xmlhttprequest，request，htmlparser这四个东西，都是jQuery需要的依赖包）。

这里我需要特别说明一下，在linux下，如果你需要使用jQuery这个nodejs库的话，你是不需要配置jsdom，xmlhttprequest ，，，这四个东西的。但是，我的环境是windows，所以，对nodejs的依赖不是很好。所以，我要手动自行配置好jQuery的关系。所以，你是linux用户的话，可以直接这样配置：

{
  "name": "simple_spider",
  "version": "0.0.1",
  "scripts": {
    "start": "node app.js"
  },
  "dependencies": {
    "jQuery"  :"*"
  }
}

第三步：打开命令行，跳转到当前目录，输入：npm install -d

然后五颜六色的东西开始不停地跑。这就说明，我们已经开始下载应用所需要的依赖包了。（依赖关系由上面的dependencies给出。）

这个命令表示只安装应用里缺少的依赖包到本地目录（不会全局污染）。

安装完毕，你的目录下面的node_modules就会多几个文件，如下图所示：

等它安装完毕，就进入第四步。

第四步：在app.js输入如下内容：

var http = require('http'),
    $    = require('jQuery');

var options = {
    host: 'www.google.com.hk',
    port: 80,
    path: '/',
    method: 'GET'
};

var req = http.get(options, function(res){
    
    var pageData = '';
    res.setEncoding('utf8');

    res.on('data', function(chunk){
        pageData += chunk;
    });

    res.on('end', function(){
        var dom = $(pageData);
        var elList = dom.find('#addlang a');
        console.log(elList.eq(1).text());
    });
});

上面的代码就实现了非常简单的网络爬虫。

第五步：在终端窗口运行node app.js

你会看到 "English" 的结果输出。

过程：

      1：http句柄发出get请求，请求google.hk的网页内容，然后内容存在pageData这个变量里面。

      2：我们在用jQuery去分析，获取我们需要的内容，再打印出来。（如果你觉得内容很重要，你也可以入库保存。）

这样，简单的网络爬虫就完成了。