开始nodejs+express的学习+实践（9）

最新推荐文章于 2025-08-22 11:10:38 发布

weixin_34419326

最新推荐文章于 2025-08-22 11:10:38 发布

阅读量107

点赞数

CC 4.0 BY-SA版权

文章标签：数据库爬虫

原文链接：https://my.oschina.net/tbd/blog/552803

本文介绍了如何使用Node.js、Express、Superagent和Cheerio库构建网页爬虫，实现从指定网站抓取内容，并通过登录逻辑处理验证用户身份。详细解释了依赖管理、爬虫实现、登录流程以及使用Cheerio处理HTML内容的技术要点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么80%的码农都做不了架构师？>>>

1.爬虫抓取

爬虫抓取就是获取他人也面的内容，显示在自己的页面里，我们抓取https://cnodejs.org/getstart的：

显示在自己页面里。

{
  "name": "application-name",
  "version": "0.0.1",
  "private": true,
  "scripts": {
    "start": "node ./bin/www"
  },
  "dependencies": {
    "express": "~3.4.8",
    "static-favicon": "~1.0.0",
    "morgan": "~1.0.0",
    "cookie-parser": "~1.0.1",
    "body-parser": "~1.0.0",
    "debug": "~0.7.4",
    "ejs": "~0.8.5",
    "formidable": "*",
    "mongodb":"*",
    "mongoskin":"*",
    "express-session":"*",
    "superagent":"*",
    "cheerio":"*"
  }
}

依赖加入，一个superagent一个cheerio，前面是获取页面内容，后面是筛选内容。

我们npm install下载依赖。

index.js引入：

var superagent = require('superagent');
var cheerio = require('cheerio');

我们把内容显示在list页面里，改变/list路由处理。

    app.get('/list',  function(req, res){
        var targetUrl = 'https://cnodejs.org/getstart';
        superagent.get(targetUrl)
            .end(function (err, ares) {
                console.log(ares.text);
                res.render('list', { text: ares.text });
            });
    });

地址输入：http://localhost:1234/list

显示了html页面源码：

此时如果我们有jq类似工具，$(".xx").html()就可以拿到内容了，cheerio就是类似实现，返回的html我们当做dom树处理就可以了。

我们在/list加入cheerio的处理：

    app.get('/list',  function(req, res){
        var targetUrl = 'https://cnodejs.org/getstart';
        superagent.get(targetUrl)
            .end(function (err, ares) {
                console.log(ares.text);
                var $ = cheerio.load(ares.text);
                //通过CSS selector来筛选数据
                var arr=[];
                $('.markdown-text p strong').each(function (idx, element) {
                    console.log($(element).html());
                    arr.push($(element).html());
                });
                res.render('list', { text: arr });
            });
    });

list.html页面：

<!DOCTYPE html>
<html>
  <head>
    <title>list</title>
    <link rel='stylesheet' href='/stylesheets/style.css' />
  </head>
  <body>
    <ul>
        <% for(var i=0; i<text.length; i++) {%>
        <li><%= text[i] %></li>
        <% } %>
    </ul>
  </body>
</html>

显示：