Nodejs 豆瓣爬虫实践

最新推荐文章于 2021-08-26 22:52:33 发布

原创

最新推荐文章于 2021-08-26 22:52:33 发布 · 903 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#javascript #nodejs #js

本文介绍如何使用 Node.js 编写一个豆瓣小组爬虫，涉及前端网页解析、请求伪造、关键词筛选及结果展示。通过解析网页结构，发送带有伪装头部的请求，抓取并过滤特定信息，实现按需爬取和展示豆瓣小组帖子。

使用 Nodejs 从豆瓣小组中爬取帖子，并进行过滤。

前端网页解析

网页结构

打开一个豆瓣小组网页，例如

https://www.douban.com/group/16473/

使用 F12 解析网站，可以看到，每一个帖子都由一个a标签构成，标题为title

在这里插入图片描述

我们需要提取的包括标题、URL以及时间信息，因此可以直接使用request以及cheerio包进行提取：

request(opt, function (error, response, body) {
   
   
      if (error) {
   
   
        return cb(error);
      }
      var $ = cheerio.load(body, {
   
   
        normalizeWhitespace: true,
        decodeEntities     : false
      });
      var items = [];
      $('.olt tr').slice(1).each(function (index, el) {
   
   
        var title = $('.title > a', el).attr('title');
        if (checkIncludeWords(title, includeWords) && checkExcludeWords(title, excludeWords)) {
   
   
          var item = {
   
   
            title   : title,
            href    : $('.title > a', el).attr('href'),
            lastTime: $('.time', el).text()
          };
          console.log('fetch item', item);
          items.push(item);
        }
      });

发送请求

注意，直接发送 request 请求，会出现 403 错误，因此我们需要伪造报文头部，这里伪造的是 Mac 电脑上的 Chrome（也就是我电脑上的配置）：

/**
 * 请求参数初始化
 * @param: urls:请求的url、 opts：请求header参数， num：

最低0.47元/天解锁文章