node爬虫实现文件下载，访问网址

旧单车

于 2019-09-19 17:34:55 发布

阅读量2.7k

点赞数

分类专栏： node 文章标签： node 爬虫配置 node模块 csdn阅读量

本文链接：https://blog.youkuaiyun.com/weixin_43001280/article/details/101029830

版权

本文介绍了使用Node.js编写爬虫进行文件下载和访问网址的操作，通过创建index.js和model.js两个文件，安装相关模块，实现爬虫的运行。相比Java，Node.js在爬取速度上有优势。提供了运行命令及爬虫运行的截图。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

node爬虫实现文件下载，访问网址

试了下 Node写爬虫，访问速度好像比Java快好多。

同一目录下新建index.js和model.js

index.js

const model = require("./model"),
basicPath='https://blog.youkuaiyun.com/weixin_43001280';
const main = async url => {
  let list = [];
  const data = await model.getPage(url);
  list = model.getUrl(data);
  //运行时间：一小时
  const times=60*60;
  let runTime=1;
  goUrlByList(list);
  console.log('程序已经运行: '+runTime+' 次');
  let inter=setInterval(()=>{
    goUrlByList(list);
    runTime++;
    console.log('程序已经运行: '+runTime+' 次');
  },1000*69);
  setTimeout(()=>{
    clearInterval(inter);
    console.log('程序停止运行');
  },1000*times);
  //downLoadImages(list, index);//下载
};
const goUrlByList =(list)=>{
  for(let i=0;i<list.l