背景:
博主最近在搞基于NodeJs的爬虫抓取数据(后续会写一篇关于NodeJs爬虫的文章)
(文章链接地址:https://blog.youkuaiyun.com/cmyh100/article/details/101312723)
为了让抓取数据更加稳定且不导致nodejs线程阻塞,所以进行了分段抓取
例如抓取1万条数据,分成了20个excel文件
但是几十个excel文件分别导入到数据库中,操作繁琐且麻烦,那么将多个excel文件合并后导入数据库自然是一个不错的方法(大家如果有其他好的方法可以在评论里聊一聊哈)
本想用wps去合成,结果发现它居然要登录且开会员!!博主又懒得去装新版的office(手动滑稽)
只好自己用NodeJs写一个了,很愉快的搞定了这个问题
案例:

(可耻的打码了)
这样数据字段相同的多个excel文件进行合并
代码:
// 读取文件中的内容
fs.readdir(_file, function(err, files) {
if (err) {
throw err
}
// files是一个数组
files.forEach((item, index) => {
try {
console.log(`开始合并:${item}`)
let excelData = xlsx.parse(`${_fil

博主通过Node.js实现了一款无需WPS或Office的Excel文件合并工具,解决了爬虫分段抓取数据后合并的难题。只需将多个Excel放入指定文件夹,运行脚本,即可在结果目录得到合并后的文件。项目源码已上传至GitHub,方便开发者参考使用。
最低0.47元/天 解锁文章
1131

被折叠的 条评论
为什么被折叠?



