nodejs爬虫GBK网页乱码

最新推荐文章于 2021-06-07 18:45:45 发布

原创最新推荐文章于 2021-06-07 18:45:45 发布 · 2.5k 阅读

0 ·

CC 4.0 BY-SA版权

本文为博主原创文章，转载请注明来源(泞途 - 泊客网 https://ningto.com)。

node.js 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了一个使用Node.js进行网页抓取的例子，通过引入必要的模块如http、fs、cheerio和iconv-lite，实现了对指定URL的请求，并能够正确处理GBK编码的内容。

var http = require('http')
var fs = require('fs')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')

function getUrl(url, handle) {
    http.get(url, (res) => {
        console.log(`status code: ${res.statusCode}`)
        var html = ''
        res.on('data', (chunk) => {
            html += iconv.decode(chunk, 'GBK')
        })
        res.on('end', () => {
            handle(html)
        })
    }).on('error', (e) => {
        console.log(`http error: ${e.message}`)
    })
}