记一次excel解析OOM问题

本文讲述了在处理大量数据时遇到的OOM异常,通过从POI用户模式切换到事件驱动解析API,成功避免内存溢出。特别提到xls和xlsx文件格式差异及解析策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

做excel批量导入功能,导入5000条数据时发现报异常,打印日志后发现时OOM异常,然后调JVM参数,发然问题仍然存在,然后发现读取到没有使用到的列,每行读取到的列有1W列之巨。

固然可以将没有用到的列删除,但不是根本方法,继续查资料,发现:
一般POI读取,使用的用户模式,即使用org.apache.poi.hssf.usermodel下的API进行解析。这种模式API可以很容易读取Excel,但消耗的内存很大,很容易导致内存溢出。改用另外一种模式进行解析,使用org.apache.poi.hssf.eventusermodel 下的API进行解析,即将ecxel解析成XML文件,再使用SAX解析XML文件,成功解决。
注:需要对xls和xlsx文件分别解析!
代码参考地址:https://www.cnblogs.com/swordfall/p/8298386.html
另:
.xls文件 03版Excel,行列的上限为 65536行,256列。
.xlsx文件 07版Excel ,行列的上限为 1048575行,16384列。采用了基于XML的ooxml开放文档标准,ooxml使用XML和ZIP技术结合进行文件存储,XML是一个基于文本的格式,而且ZIP容器支持内容的压缩

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值