Excel导入10w行级数据优化

目录

功能描述

第一版

第二版

优化点1

优化点2

优化点3

第三版

第四版

其他影响性能

日志

---

功能描述

数据导入：根据导入模板写入相应数据，格式是xlsx (支持 65535+行数据) 。
数据校验：数据校验，字段长度、字段正则表达式校验等，内存内校验不存在外部数据交互。数据重复性校验，如票据号是否和系统已存在的票据号重复(需要查询数据库，十分影响性能)。
数据插入：测试环境数据库使用MySQL 5.7，未分库分表，连接池使用Druid。

第一版

利用原生POI，手动将Excel中的行映射成ArrayList对象，循环遍历校验数据，然后存储到List。查询数据库的校验对每一行数据都要查询一次数据库，应用访问数据库来回的网络IO次数被放大了n 倍，时间也就放大了n倍，写入数据也是逐行写入的，代码冗余可维护性差。

第二版

缓存数据，以空间换时间，逐行查询数据库校验的时间成本主要在来回的网络IO中，将参加校验的数据全部缓存到HashMap中，直接到HashMap去命中。

优化点1

自定义SessionMapper，Mybatis原生是不支持将查询到的结果直接写人一个HashMap中的，需要自定义SessionMapper。

@Repository
public class SessionMapper extends