poi导入excel如何优化,优化步骤,代码层面能做到的最大优化

由于公司做的是商业项目,代码不方便贴上来,只记录下思路。

项目中,有不少需要导入excel数据的地方,因为项目赶工期,没有考虑太多,直接实现了就完事了,在压测的时候,发现导入数据到几百条时就会出现前端连接超时,于是,优化成为了必做项。

先说说未优化前状态

前端上传文件至阿里云,后端通过ossAPI以流的方式下载到内存并逐条通过poi读取校验(业务原因,校验较多,也是只有几百条数据就超时的主要原因),成功数据存入数据库,失败数据上传至阿里云供用户下载修改后重新上传

优化思路

1.做成异步,同步只适用于少量数据。

2.利用poi从流中读取整个excel数据存入内存中再进行校验

3.查询校验条件时,分批次查询数据库(例如1000条每次),并存入内存

4.起多个线程,进行查询,校验,插入操作

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶故

感谢您的投喂 Q_Q

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值