网站图片抓取

本文介绍了一个使用Node.js进行图片爬取的简单示例。该脚本通过发送HTTP请求获取网页内容,并从中解析出图片链接及对应的名称,然后下载图片到本地文件夹。文章展示了如何利用Node.js内置模块实现这一过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

代码没有优化,仅仅作为大概的流程记录:

var http = require('http')
, fs = require('fs');
var urlTpl = 'http://somedomain/loadmore.ashx?page={PAGE}&price=0&brandid=0&country=0&deliveryCapacity=0&level=0&struct=0&seat=0';

var counter = 0;
var page = 1,
saveImage = function(res,name){
var imagedata = '';
res.setEncoding('binary');

res.on('data', function(chunk){
imagedata += chunk
});

res.on('end', function(){
fs.writeFile("D:/ziliao/Node/pic/" + name + ".jpg", imagedata, 'binary', function(err){
if (err) throw err
console.log('File saved.')
})
});

};

var reg = /src="(.*?)".*?title="(.*?)"/gi;
var reconvert = function(str){
return str.replace(/(\\u)(\w{4}|\w{2})/gi, function($0,$1,$2){
return String.fromCharCode(parseInt($2,16));
});
}
while(page < 26){
url = urlTpl.replace(/\{PAGE\}/,page);
var req = http.get(url,function(res){
res.setEncoding('utf-8');

var rs = null ,str = '';

res.on('data', function (chunk) {
str += chunk;
});
res.on('end',function(){
while(true){
//测试用,我们只要50张图片
if(counter++ > 50) {break;}

rs = reg.exec(str);
if(rs === null){ break;}
(
function(url,name){
http.get(url,function(res){
//name = reconvert(name);
saveImage(res,reconvert(name));
});
}
)(rs[1],rs[2]);
}

})
});

page++;
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值