EasyExcel多次写入数据&多个EasyExcel文件导出到zip压缩文件

使用 easyExcel 生成多个 excel 并打包成zip压缩包 前言:最近项目有个需求,需要生成多个 excel并打包成 zip下载;由于需要生成的 excel头字段过多,这里有96个时间段的表头,建一个实体字段太多了,还好 easyExcel支持 List生成表头。 1、导入 Maven坐标,这里用到了 hutool工具箱里面的压缩工具。 <dependency> <groupId>com.alibaba</groupId> <artifact... 阅读详情

笔者最近需要导出一百多万条数据到Excel,已经超出单张工作表的最大容量(2^20=1048576),需要导出到多个工作表或多个Excel文件。

海量数据导出面临的问题有以下几个:

  1. 如果一次性查出所有数据,很可能内存溢出,所以需要分页导出,分页导出就必须解决大分页查询的性能问题。
    该问题网上有很多解决办法,本文不涉及。

  2. 如果使用POI进行数据导出,内存、CPU占用都很高,而且速度很慢,所以采用EasyExcel进行数据导出。在上一篇使用EasyExcel读写Excel文件中,数据是一次性写入的,本文介绍EasyExcel多次写入数据的方法。

  3. 将多个EasyExcel的数据写入到zip文件中。通过将EasyExcel写入到ByteArrayOutputStream,再将ByteArrayOutputStream转成byte数组,写入到zip中。


1.在pom.xml中添加POI相关依赖

        <!-- easyexcel -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel-core</artifactId>
            <version>3.3.2</version>
        </dependency>

2.实体类

package com.example.study.entity;


import com.alibaba.excel.annotation.ExcelProperty;
import com.fasterxml.jackson.annotation.JsonFormat;
import lombok.Getter;
import lombok.Setter;

import java.util.Date;

@Getter
@Setter
public class StudentEntity {
    @ExcelProperty(value = "id", order = 1)
    private Integer id;

    @ExcelProperty(value = "生日", order = 4)
    @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss", timezone = "GMT+8")
    private Date birthday;

    @ExcelProperty(value = "名字", order = 2)
    private String name;

    @ExcelProperty(value = "性别", order = 3)
    private String sex;

    private String desc;

    private String extra;
}

3.写入数据

package com.example.study.common;

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import com.example.study.entity.StudentEntity;

import java.io.ByteArrayOutputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;

public class EasyExcelWriteToZipDemo {
    public static void main(String[] args) {
        String writeExcel = "F:\\tmp\\batch_export.zip";
        write(writeExcel);
    }

    private static void write(String writeExcel) {
        // 设置不需要导出的字段
        Set<String> excludeColumnFieldNames = new HashSet<>();
        excludeColumnFieldNames.add("desc");
        excludeColumnFieldNames.add("extra");
        WriteSheet sheet = EasyExcel.writerSheet("花名册")
                .excludeColumnFieldNames(excludeColumnFieldNames)
                .needHead(Boolean.TRUE)
                .build();
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        ExcelWriter workbook = EasyExcel.write(baos, StudentEntity.class).build();
        int sheetMaxSize = 1001;
        int currentExcelSize = 0;
        int count = 0;
        int total = 3111;
        int fileIndex = 1;
        try (FileOutputStream fos = new FileOutputStream(writeExcel);
             ZipOutputStream zos = new ZipOutputStream(fos)) {
            while (count < total) {
                List<StudentEntity> page = getPage(count + 1, total);
                if (currentExcelSize + page.size() > sheetMaxSize) {
                    // 超过单个文件最大数据条数后,写入到zip文件,并将当前页面数据写入新的excel文件
                    workbook.close();
                    zos.putNextEntry(new ZipEntry(String.format("数据导出文件_%s.xlsx", fileIndex++)));
                    zos.write(baos.toByteArray());
                    baos = new ByteArrayOutputStream();
                    workbook = EasyExcel.write(baos, StudentEntity.class).build();
                    currentExcelSize = page.size();
                } else {
                    currentExcelSize += page.size();
                }
                workbook.write(page, sheet);
                count += page.size();
            }
            if (currentExcelSize > 0) {
                workbook.close();
                zos.putNextEntry(new ZipEntry(String.format("数据导出文件_%s.xlsx", fileIndex++)));
                zos.write(baos.toByteArray());
            }
            zos.flush();
            fos.flush();
        } catch (IOException exception) {
            exception.printStackTrace();
        }
    }

    private static List<StudentEntity> getPage(int lastMaxId, int total) {
        List<StudentEntity> page = new ArrayList<>();
        for (int index = lastMaxId; index < Math.min(lastMaxId + 100, total + 1); index++) {
            StudentEntity student = new StudentEntity();
            student.setId(index);
            student.setName("名字_" + index);
            student.setSex(index % 2 == 0 ? "女" : "男");
            student.setBirthday(new Date());
            student.setDesc("test desc");
            student.setExtra("test extra");
            page.add(student);
        }
        return page;
    }
}
(四)并发编程实战:多线程+EasyExcel,20ms内极速导入百万级大数据报表! 看到这里,百万级报表导入篇也走进了尾声,其实这篇里的许多内容都在沿用上篇的概念,毕竟两个场景十分类似,只不过代码细节实现有所不同。但不管是大报表导出,还是大报表导入,我们都未曾打破官方给出的”不允许多条线程对单个文件进行并发读写“这条建议,而是深入分析问题场景,真正定位到了耗时项在做优化。毕竟对于真实的业务场景来说,读写一个百万级的excel文件,硬件到位的前提下,EasyExcel框架只需花费几十秒左右,这个性能完全够了。 阅读详情

相关推荐

easyExcel百万级别数据入库、导入、写文件操作

最近公司有个大批量excel数据入库的需求,原封装的poi工具老是内存溢出,现考虑使用alibaba的easyExcel,废话不多说,直接上代码 ,可以按照步骤来,根据自己的业务需求修改即可,百万数据的话,用了时间在一两分钟之内。学习时间不长,各位大佬看哪些不合理的地方,提出指导意见,不胜感激!

qq_42206404的博客 625

EasyExcel重复多次写入,合并单元格功能详细实现

EasyExcel重复多次写入(不同对象和相同对象)到同一个sheet中,合并单元格等功能详细实现(官网没有样例记载)

程序小白的博客 3541

easyexcel多个excel文件压缩为zip导出

背景:产品设计一个批量导出的功能,需要将生成的多个excel打成压缩包导出。 解决方案:因为我们之前项目的单个Excel导出都是用的easyexcel所以我这边还是希望用这个工具去生成excel,然后zip流导出。 探索过程参考了:https://www.jianshu.com/p/a082eeba88a9 //导包 &lt;dependency&gt; &lt;groupId&gt;com.alibaba&lt;/groupId&gt; ...

ray_352801250的博客 4593

Easy Excel——写入Excel

Data/*** 所有的 字符串起前面加上"自定义:"三个字*/@ExcelProperty(value = "字符串标题", converter = CustomStringStringConverter.class)/*** 我想写到excel 用年月日的格式*/@DateTimeFormat("yyyy年MM月dd日HH时mm分ss秒")@ExcelProperty("日期标题")/*** 我想写到excel 用百分比表示*/

吴声子夜歌的博客 1万+

【保姆级教程/代码】使用PRIDE PPP-AR软件解算ZTD、反演GNSS PWV,并评估精度

在本算例中,我下载了BJFS站2024年的IGS ZTD产品,用于评估PRIDE PPP-AR软件解算出ZTD结果的精度。

weixin_43910227的博客 2377

海康威视工业相机网络配置实战:从MVS软件操作到IP地址规划

本文详细介绍了海康威视工业相机的网络配置实战,从MVS软件操作到IP地址规划。重点讲解了IP设置的重要性、Windows系统下的网络配置步骤、避免IP冲突的技巧,以及MVS软件中的相机IP配置方法。帮助用户快速掌握工业相机的网络连接技术,确保稳定高效的图像采集。

weixin_30296405的博客 488

批量导出导入数据及附件文件ZIP包

如何将列表数据及其中的附件信息批量导出到压缩包里,然后一键导入到B系统。

java后端开发的博客,不仅仅是后端开发 3093

Ubuntu 24.04 下 NoMachine 极速安装与远程桌面配置全攻略

本文详细介绍了在Ubuntu 24.04系统下安装和配置NoMachine远程桌面的完整指南。从系统准备、分步安装到性能调优和常见问题解决,帮助用户快速实现低延迟的远程桌面访问。特别适合开发者和IT管理员在Linux环境下高效部署远程工作环境。

moon9的博客 946

java技术:easyexcel同时导出多个excel到web(zip压缩文件)

对于为什么这里是0,因为标题分多级标题,headNameList获取的是该单元格所在列的所有标题放在一个字符串数组中,因此一级标题的索引是0,当然如果是改其他标题,你只需要更换索引进行映射即可。@ExcelProperty(value={"单一来源正在进行中审价项目统计","承制单位联系人及电话"})@ExcelProperty(value={"单一来源正在进行中审价项目统计","单一来源承制单位"})@ExcelProperty(value={"${titleDate}","需求单位联系人/电话"})

LanJieZhiFu的博客 4026

国产Flash替代方案:手把手教你用XSCT烧写ZYNQ7045的BOOT.BIN(附完整命令解析)

本文详细介绍了国产Flash替代方案在ZYNQ7045上的应用,通过XSCT工具链实现BOOT.BIN的精准烧写。内容涵盖国产Flash兼容性检查、PetaLinux环境搭建、XSCT烧写全流程及故障排查,帮助开发者高效完成国产化替代,提升硬件开发效率。

weixin_33670786的博客 431

深空探测处理软件USGS-ISIS的下载安装

深空探测处理软件USGS-ISIS下载安装教程

qq_31721595的博客 3313

Spring Boot整合EasyExcel:实现大规模数据的并行导出与压缩下载

本文介绍了使用Spring Boot和EasyExcel实现大规模数据高效导出的方法,通过数据分批处理、并行处理和文件压缩等技术手段,提升了导出效率并优化了用户体验,特别适用于需要处理大量数据的企业系统。

Yaml4的博客 2597

【YOLOv11】006、YOLOv11数据增强策略:Mosaic、MixUp等增强技术原理解析

摘要:YOLOv11在产线缺陷检测中遇到小尺寸瑕疵漏检问题,暴露了训练数据过于&quot;干净&quot;的缺陷。数据增强的核心是提升模型泛化能力,而非简单扩充数据。Mosaic增强通过多图拼接迫使模型处理多尺度目标,需注意边界框裁剪细节;MixUp通过线性插值使决策边界更平滑,但需避免类别冲突。自适应增强策略应随训练进度动态调整强度。实际应用中,需针对小目标、类别不平衡等场景调整增强参数,并确保验证与推理流程一致。数据增强应针对性解决具体问题,而非盲目尝试组合。

企鹅码农的专属播客,分享10多年的实战案例和经验解读,包含YOLO、RT-DETR、AI等各个工作领域。 369

【看这里】记录一下,如何在springboot中使用EasyExcel并行导出多个Excel文件并压缩zip后下载

在Spring Boot中使用EasyExcel并行导出多个Excel文件,并将这些文件压缩成一个ZIP文件供用户下载,涉及到几个主要步骤:并行导出Excel文件、压缩这些文件到一个ZIP文件、以及提供一个HTTP接口来下载这个ZIP文件。下面将详细说明如何实施这一流程。

风信子的博客 1423

【我的Android进阶之旅】Android自定义View实现一个游戏摇杆,来实现监听遥动的方向或者监听摇动的角度的功能

一、需求描述 去年有个需求,需要使用自定义View实现一个游戏摇杆,来识别上下左右摇动的方向。 有点类似下面这样的王者荣耀游戏摇杆的效果 二、业界已有的参考资料 在下面这篇博客介绍了如何自定义游戏摇杆 2.1 博客介绍 Android自定义摇杆 2.1.1 功能 支持自适应大小 支持2个方向、4个方向、8个方向的摇动监听 支持摇动角度获取 可选回调模式 支持可摇动区域自定义 支持摇杆自定义 支持设置图片、色值、Shape图形 2.1.2 效果图 2.1.3 设置回调方式 setCallBac

字节卷动 1413

开源GIS -- 笔记

基础开发库 数据读写:GDAL/OGR(C/C++) ArcGIS和GE都是使用此工具 投影转换:Proj.4(C/C++) 拓扑计算:JTS(Java),GEOS(C++),Shapely(python) 组件式开发库 GeoTools(Java),DotSpatial(.NET) 空间分析: Scipy(通用科学计算、方程求解), numpy,NextworkX, rPy(统计分析), Scikit-learn,pysal(空间分析) 深度学习: Keras、 tensorflow、 pytor

DZ Space 4521

SpringBoot中使用EasyExcel并行导出多个excel文件并压缩zip后下载

SpringBoot的同步导出方式中,服务器会阻塞直到Excel文件生成完毕,在处理大量数据的导出功能,利用CompletableFuture,我们可以将导出任务异步化,最后 这些文件进一步压缩成ZIP格式以方便下载

码到三十五 1万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Java EasyExcel带格式多线程导出百万数据

Java结合Alibaba EasyExcel,通过多线程加redis缓存的方式,将明细表数据带有数据格式(字体格式,表头冻结,单元格合并等格式),导出百万数据量,响应时间30s左右。

入门程序猿的博客 9759

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

java实现流输出形式导出数据(使用EasyExcel)并打包为zip包

java实现流输出形式文件下载并打包为zip包 pom.xml文件导入easyexcel &lt;dependency&gt; &lt;groupId&gt;com.alibaba&lt;/groupId&gt; &lt;artifactId&gt;easyexcel&lt;/artifactId&gt; &lt;version&gt;2.0.5&lt;/version&gt; &lt;/d...

csgogogo的博客 9956

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

easyExcel导出excel文件并打包成zip压缩包下载

package com.business.testExcelPort; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; impo...

L_zsen的博客 5723

easyexcel导出excel,大数据量100万以内分页查询zip格式导出

easyexcel导出excel,大数据量100万以内分页查询zip格式导出准备工作整体思路controller层service层mapper层VO表结构测试备注easyExcel 准备工作 maven+springboot+mybatis pom添加. // maven依赖 &lt;dependency&gt; &lt;groupId&gt;com.alibaba&lt;/groupId&...

qq_35493807的博客 4404

EasyExcel 复杂模板导出excel得坑(多个)实现将多个数据转成多个excel并放入压缩包中。

最近有个需求是将多个记录转成excel然后集中到一个zip中并导出,在这样得背景下,我得研究路径是这样:1.普通excel导出,write填写2.多个excel集中到zip中并导出3.模板导出excel-填充4.复杂模板导出excel-填充其中得经历以及坑如下。

vensonxiao的博客 1939

easyexcel结合zip 导出压缩文件(包含多个excel)

easyexcel结合zip 导出压缩文件(包含多个excel) 直接上代码… 分批次查询处理示例代码 int limit = 1; int pageNum = 500; ByteArrayOutputStream bos = new ByteArrayOutputStream(); ZipOutputStream out = new ZipOutputStream(bos); try { while (true

loveThe_xhc的博客 1392

Spring Boot整合EasyExcel并行导出及Zip压缩下载

这种方案特别适合需要处理大量数据导出的企业系统,在提升效率的同时,保证了系统的稳定性和可扩展性。首先,我们需要引入相关的依赖,包括 Spring Boot 和阿里巴巴的 EasyExcel 组件,此外还需要使用 Java 的 Zip 工具进行压缩操作。通过使用并行处理,可以同时生成多个文件。在这个例子中,假设我们有一个订单表,我们将导出每个用户的订单信息到不同的 Excel 文件中。:假设我们要导出上百万条订单数据,首先需要根据用户或其他条件将数据进行分片,每片数据导出到不同的 Excel 文件。

harmful_sheep的博客 894

EasyExcel生成多个exel文件并zip压缩

easyexcel ,动态表头,自适应宽高,自适应居中,样式设置,zip压缩

qq_42511550的博客 3723
上一篇: Spring Boot配置文件中的配置项加密&jasypt使用
下一篇: Web测试自动化工具Selenium的使用
java_t_t
博客等级 码龄9年 171粉丝 107原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值