Excel数据量太大,使用poi的XSSFWorkbook时内存栈溢出,解决方案

本文介绍了解决使用POI处理大型Excel文件时遇到的内存溢出问题的方法。通过引入xlsx-streamer库并使用流式读取技术,有效避免了内存溢出错误,并提供了具体的实现代码示例。
部署运行你感兴趣的模型镜像

一、使用XSSFWorkbook 直接读取大excel时,直接报java.lang.OutOfMemoryError: Java heap space

  XSSFWorkbook xssfWorkbook=new XSSFWorkbook("xxx");

二、因此引进包xlsx-streamer来使用流读取(poi相关包需要在4.0以上)。

<dependency>
        <groupId>com.monitorjbl</groupId>
        <artifactId>xlsx-streamer</artifactId>
        <version>2.2.0</version>
</dependency>

三、代码改成如下

InputStream is = new FileInputStream(new File("xxx"));
Workbook workbook = StreamingReader.builder()
                .rowCacheSize(1000)    // 缓存到内存中的行数(默认是10)
                .bufferSize(10240)     // 读取资源时,缓存到内存的字节大小(默认是1024)
                .open(is);
Sheet sheet = workbook.getSheetAt(0);

四、此时的sheet无法随机访问某一行,调用如下getRow()方法会报错。只能通过for来遍历全部。

Row row = sheetAt.getRow(2);//报错
for (Row row: sheet) {
	//成功
}

五、所以可以先为此excel文件创建一个实体类或者直接使用JSONObject,先把excel里的数据读取到List内存中,再对整个List进行操作就能实现随机访问。

   List<Data> dataList = new ArrayList<>();
   for (Row cells : sheetAt) {
            String itemId = cells.getCell(0).getStringCellValue();
            String desc = cells.getCell(1).getStringCellValue();
            String h9Model = cells.getCell(5).getStringCellValue();
            String h9Brand = cells.getCell(6).getStringCellValue();
            dataList.add(new Data(itemId, desc, h9Model, h9Brand));
  }
  //接下来对dataList进行相关操作
  

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰(StepFun)与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量,支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是,它可以生成多种语言的歌曲,包括但不限于中文、英文、日文等19种语言

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值