java 百万千万级别excel数据导出问题

笨鸟蒙眼飞

已于 2022-10-08 16:41:55 修改

阅读量2k

点赞数

分类专栏：面试中经常问到的特定场景下的解决思路文章标签： java 数据库服务器

于 2022-10-08 16:36:17 首次发布

本文链接：https://blog.youkuaiyun.com/Newbie_java_/article/details/127087462

版权

面试中经常问到的特定场景下的解决思路专栏收录该内容

1 篇文章

订阅专栏

针对Java在处理百万千万级别Excel数据导出时出现的慢速和内存溢出问题，提出了解决方案。建议使用分页读取数据并转换为CSV格式，分批写入文件，以避免一次性加载到内存。对于数据导入，推荐使用阿里EasyExcel的逐行读取模式，以提高性能和减少内存消耗。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基础：

Apache POI基于DOM方式进行解析，将文件直接加载内存，所以速度较快，适合Excel文件数量不大的应用场景。

Alibaba EasyExcel采用逐行读取的解析模式，将每一行的解析结果以观察者模式通知处理（AnalyEventListener），所以比较适合数据体量较大的Excel文件解析。

当前问题：

导出慢、OutOfMemoryError内存溢出

解决思路：

使用批量写入或导出，不要一次性将数据读取到内存或一次性读写数据库

导出：将数据分页读取，每次读取1万条数据，在读取数据的过程中，将数据转换成CSV格式，然后到了一定大小，就写入到CSV文件，这样就可以避免内存溢出。

导入： Apache POI是直接一次性读取到内存，所以建议使用阿里的EasyExcel,它是采用逐行读取模式

EasyExcel读取示例

EasyExcel.read("test.xlsx", Test.class,new AnalysisEventListener<Test>() {
    @Override
    public void invoke(Test test, AnalysisContext arg1) {
        // 读取每条数据
        orderList.add(order);
    }
 
    @Override
    public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
        // 读取到列头
        System.out.println(headMap);
    }
 
    @Override
    public void doAfterAllAnalysed(AnalysisContext arg0) {
        // 读取完毕
        System.out.println("END");
    }
}).sheet().doRead();