用Node.js 写一个爬虫

伦苏ᝰ

于 2022-12-12 15:52:27 发布

阅读量203

点赞数

文章标签： javascript 前端开发语言

本文链接：https://blog.youkuaiyun.com/qq_54646196/article/details/128288426

版权

本文介绍如何利用Node.js中的request模块获取网页内容，并通过cheerio模块解析HTML，提取所需的特定数据，如页面上的h1标签文本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以使用一些第三方模块来帮助你实现这个目标。例如，你可以使用 request 模块来请求网页内容，然后使用 cheerio 模块来解析网页并提取所需的数据。

下面是一个简单的例子，展示了如何使用这两个模块来实现一个简单的爬虫：

const request = require('request');
const cheerio = require('cheerio');

const url = 'http://example.com';

request(url, (error, response, html) => {
  if (!error && response.statusCode == 200) {
    const $ = cheerio.load(html);

    $('h1').each((i, element) => {
      const header = $(element).text();
      console.log(header);
    });
  }
});