node-crawler: 前端爬虫库

node-crawler: 前端爬虫库

【免费下载链接】node-crawler Web Crawler/Spider for NodeJS + server-side jQuery ;-) 项目地址: https://gitcode.com/gh_mirrors/no/node-crawler

[THE 0TH POSITION OF THE ORIGINAL IMAGE [THE 1TH POSITION OF THE ORIGINAL IMAGE

node-crawler 是一个基于 Node.js 的前端爬虫库，它可以让你轻松地抓取网页中的数据。

功能

• 支持 HTTP/HTTPS 协议。
• 自动处理重定向和重试。
• 支持异步回调或 Promise API。
• 可以设置请求头、Cookie 等选项。
• 支持自定义下载器（例如 PhantomJS）。

示例

const Crawler = require("node-crawler");

const c = new Crawler({
  // 网页 URL
  uri: "http://www.example.com",
  
  // 回调函数
  callback: function(error, res, done) {
    if (error) {
      console.log(error);
    } else {
      const $ = res.$;
      
      // 提取页面中的数据
      const title = $("title").text();
      console.log(title);
    }
    
    done();
  }
});

安装

npm install node-crawler --save

文档

文档可以在这里找到：https://github.com/bda-research/node-crawler#readme

社区和支持

如果你有任何问题或建议，请在 GitHub 上提出问题：https://github.com/bda-research/node-crawler/issues

我们欢迎所有的贡献者，如果你想参与到项目的开发中来，可以查阅我们的贡献指南：https://github.com/bda-research/node-crawler/blob/master/CONTRIBUTING.md

让我们一起创建一个更好的爬虫社区！

推荐使用

如果你正在寻找一个简单易用的前端爬虫库，那么 node-crawler 将是一个不错的选择。它提供了丰富的功能，并且易于集成到你的项目中。

试试看吧！我们相信你会喜欢它的。

项目链接：

【免费下载链接】node-crawler Web Crawler/Spider for NodeJS + server-side jQuery ;-) 项目地址: https://gitcode.com/gh_mirrors/no/node-crawler