node爬取网站获取该网站编码格式

安装

npm install iconv-lite
npm install request
npm install cheerio

代码

var originRequest = require('request') 
var iconv = require('iconv-lite') 
var cheerio = require('cheerio') 
var headers = { 
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
function request (url, callback) { 
  var options = {
    url: url,
    encoding: null,
    headers: headers
  }
  originRequest(options, callback)
}
var url='http://www.8gp8.cn/gupiao1.htm'

request(url, function (err, res, body) { 
    var html = body
    var $ = cheerio.load(html, {decodeEntities: false})
    var bmC=$('meta').attr('charset')||$('meta').attr('content').replace(/text\/html[\S\s]+charset=/g,'')
    html=iconv.decode(html,bmC)
    $ = cheerio.load(html, {decodeEntities: false})    
    console.log($('html').html());
})
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值