背景:
博主最近在搞基于NodeJs的爬虫抓取数据(后续会写一篇关于NodeJs爬虫的文章)
(文章链接地址:https://blog.youkuaiyun.com/cmyh100/article/details/101312723)
为了让抓取数据更加稳定且不导致nodejs线程阻塞,所以进行了分段抓取
例如抓取1万条数据,分成了20个excel文件
但是几十个excel文件分别导入到数据库中,操作繁琐且麻烦,那么将多个excel文件合并后导入数据库自然是一个不错的方法(大家如果有其他好的方法可以在评论里聊一聊哈)
本想用wps去合成,结果发现它居然要登录且开会员!!博主又懒得去装新版的office(手动滑稽)
只好自己用NodeJs写一个了,很愉快的搞定了这个问题
案例:
(可耻的打码了)
这样数据字段相同的多个excel文件进行合并
代码:
// 读取文件中的内容
fs.readdir(_file, function(err, files) {
if (err) {
thr