node SuperAgent爬虫，直接得到json数据

最新推荐文章于 2025-06-02 09:04:46 发布

原创

最新推荐文章于 2025-06-02 09:04:46 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#node #爬虫 #SuperAgent #不同编码的爬虫

本文介绍如何在Node环境下利用SuperAgent库进行爬虫操作，特别是处理不同编码格式如gb2312的网站，通过安装superagent-charset插件来顺利获取JSON数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提：node环境
编码格式为utf-8
非常好用的SuperAgent

var superagent = require('superagent');
var cheerio = require('cheerio')
superagent.get('https://bj.tobosu.com/anli/list_2/') //这里的URL也可以是绝对路径 
    .end(function (req, res) {
        //do something 
        //res.text包含为被解析的响应数据
        //console.log(res.text);
				$ = cheerio.load(res.text);
				console.log($('.village-case-ul li'));
				var arr =  $('.village-case-ul li').splice(0,1);
        $('.village-case-ul li').each(function(index,value){
					let name = $(value).find('.case-info-wrap').find('.title').find('a').text();
					let desc = $(value).find('.img').find('a').find('.layer').find('p').text();
					var info = [];
					$(value).find('.info').find('span').each(function(i,v) {
						let t = $(v).text();
						info.push(t);
					})
					let gongsi = $(value).find('.ltd-info').find('.ltd-name').text();
				  let imgUrl = $(value).find('.img').find('a').find('img').attr('src');
					console.log({city:'北京',dType:'公司'