node.js抓url数据

囧途兄

于 2013-05-28 13:02:30 发布

阅读量988

点赞数

CC 4.0 BY-SA版权

分类专栏： node.js学习记录文章标签： Node.js

本文链接：https://blog.youkuaiyun.com/u010816280/article/details/8984175

node.js学习记录专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种利用Node.js中的http模块从指定URL获取页面内容的方法，并通过iconv-lite进行编码转换，最终将结果保存到本地文件中。此过程涉及网络请求、文件操作及字符编码转换等关键技术。

var http  = require('http');
var fs    = require('fs');
var iconv = require('iconv-lite');
var url   = require('url');

var html  = '';
var getURL= url.parse('http://xuezaijiongtu.blog.163.com');
var req   = http.get(getURL, function(res){
	res.setEncoding('binary');
	res.on('data', function(data){
		html += data;
	}).on('end', function(){
		var buf = new Buffer(html, 'binary');
        var str=iconv.decode(buf, 'GBK');//将GBK编码的字符转换成utf8的
		fs.open('test.txt', 'w', 0777, function(err, fd){
			if(err) throw err;
			fs.write(fd, str, 0, 'utf8', function(err){
				if(err) throw err;
				fs.closeSync(fd);
			})
		});
	})
}).on('error', function(err){
	console.log('http get error:', err);
});