Nodejs简单爬虫

本文介绍如何使用Node.js及cheerio等模块快速搭建一个简单的网页爬虫,包括安装Node.js、初始化项目、编写爬虫代码等步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装node

安装完成后,打开命令行,执行node -v 验证是否安装成功。

初始化一个项目

使用 npm init -y 快速初始化一个新的项目,然后新建js文件。
nodejs 爬虫需要几个模块,通过 npm install 来安装。

npm install cheerio --save-dev
npm install request --save-dev
npm install iconv-lite --save-dev

初始化完成后的目录结构如下

--test
-----node_modules
-----package.json
-----test.js

test.js主要代码

引入需要的模块,

var http = require('http');
var fs = require('fs');
var iconv = require('iconv-lite');   
var cheerio = require('cheerio');
var request = require('request');

定义网站的URL,

var url ="";

定义数据保存文件,

var file = "./test.txt";  

采用http发起一次get请求,

function InitialRequest(url){
    http.get(url, function (req) {     
        var html = ''; //保存请求网站的html代码 
        req.setEncoding('utf-8'); //防止中文乱码
        //监听request data事件,当数据到来时触发事件
        req.on('data', function (chunk) { 
            //chunk表示接收到的数据
            html += chunk;
        });
        //监听request end事件,当数据传输完成时触发事件
        req.on('end', function () {  
            //用cheerio模块来解析html     
            var $ = cheerio.load(html);
            //var images = $('img');//类似jquery获取dom元素
            saveHtml(html,file);//将数据保存为文件
            // console.log(html);
        });
    })
}

保存为文件 saveHtml函数,通过node fs模块写入文件

function saveHtml(str, file){  
    fs.writeFile(file, str,function(err){  
        if(err)  
            console.log("fail " + err);  
        else  
            console.log("success");  
    });  
}  

至此,已经将网页内容抓取后保存为 test.txt文件。

总结

这是用nodejs写的简单的爬虫抓取网页内容,其实也就是一个网络请求函数和一个保存文件函数,下面是完整代码。

var http = require('http');
var fs = require('fs');
var iconv = require('iconv-lite');   
var cheerio = require('cheerio');
var request = require('request');

var url ="";
var file = "./test.txt";

function InitialRequest(url){
    http.get(url, function (req) {     
        var html = ''; //保存请求网站的html代码 
        req.setEncoding('utf-8'); //防止中文乱码
        //监听request data事件,当数据到来时触发事件
        req.on('data', function (chunk) { 
            //chunk表示接收到的数据
            html += chunk;
        });
        //监听request end事件,当数据传输完成时触发事件
        req.on('end', function () {  
            //用cheerio模块来解析html     
            var $ = cheerio.load(html);
            //var images = $('img');//类似jquery获取dom元素
            saveHtml(html,file);//将数据保存为文件
            // console.log(html);
        });
    })
}

function saveHtml(str, file){  
    fs.writeFile(file, str,function(err){  
        if(err)  
            console.log("fail " + err);  
        else  
            console.log("success");  
    });  
}  

InitialRequest(url);
Node.js和Express框架提供了强大的工具和模块来实现爬虫功能。在给定的引用中,作者使用了Node.js的axios和cheerio模块来实现简单爬虫。 首先,作者在app.js文件中引入了express、cheerio和superagent模块,并创建了一个Express应用程序。接着,通过使用superagent模块发送GET请求来抓取'https://cnodejs.org/'网页的内容。然后,通过cheerio模块将网页的HTML内容加载到一个实现了jQuery接口的变量$中,从而可以使用类似jQuery的语法来操作DOM。作者使用了选择器来获取网页中的.topic_title元素,并将其标题和链接存入一个数组中。最后,通过res.send()方法将抓取到的数据发送给前端。 在index.js文件中,作者定义了一个路由,用于接受前端通过ajax发送的请求。在这个路由中,作者调用了名为reptile.getData()的函数来获取数据,并将结果通过res.send()方法发送给前端。 综上所述,这段代码实现了一个基于Node.js和Express的简单爬虫,可以抓取https://cnodejs.org/网页上的.topic_title元素的标题和链接,并将数据发送给前端。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [使用nodejs实现简单爬虫](https://blog.youkuaiyun.com/u014119731/article/details/124684720)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [nodejs实现简单爬虫](https://blog.youkuaiyun.com/liya_nan/article/details/83898764)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值