Java实现大数据量导出报表

最新推荐文章于 2025-05-05 08:43:37 发布
最新推荐文章于 2025-05-05 08:43:37 发布
阅读量826 收藏 7
点赞数 25
分类专栏： Java 文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_33807380/article/details/146025372
版权

一、实现方式

在Java中，导出数据到Excel有多种方式，每种方式都有其优缺点，适用于不同的场景。以下是常见的几种方式及其特点：

1.1 Apache POI

Apache POI 是 Java 中最流行的库，支持读写 Excel 文件（包括 .xls 和 .xlsx 格式）。

  • 特点：
    • 支持 .xls（HSSFWorkbook）和 .xlsx（XSSFWorkbook、SXSSFWorkbook）。
    • 功能强大，支持样式、公式、图表等。
    • SXSSFWorkbook 支持流式写入，适合大数据量导出。
  • 适用场景：
    • 需要导出复杂格式的 Excel 文件。
    • 大数据量导出（使用 SXSSFWorkbook）。
1.2 EasyExcel

EasyExcel 是阿里巴巴开源的 Excel 操作库，基于 Apache POI 封装，专注于大数据量导出和导入。

  • 特点：
    • 支持流式读写，内存占用低。
    • API 简单易用。
    • 支持 .xlsx 格式。
  • 适用场景：
    • 大数据量导出（百万级数据）。
    • 需要高性能和低内存占用的场景。
1.3 OpenCSV

虽然不是直接导出 Excel 文件，但 CSV 文件可以被 Excel 直接打开，适合简单的数据导出。

  • 特点：
    • 轻量级，速度快。
    • 文件格式简单，不支持样式、公式等。
    • 适合纯数据导出。
  • 适用场景：
    • 数据量较大，且不需要复杂格式。
    • 需要快速导出和导入。

二、使用SXSSFWorkbook

2.1 添加依赖

在pom.xml中添加Apache POI依赖：

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>5.2.3</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml-schemas</artifactId>
    <version>4.1.2</version>
</dependency>
2.2 定义数据模型

创建一个 Java 类表示导出的数据模型。

public class DataModel {
    private Long id;
    private String name;
    private Double value;

    // 构造方法、Getter 和 Setter
    public DataModel(Long id, String name, Double value) {
        this.id = id;
        this.name = name;
        this.value = value;
    }

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Double getValue() {
        return value;
    }

    public void setValue(Double value) {
        this.value = value;
    }
}
2.3 分页查询数据

使用Spring Data JPA或MyBatis进行分页查询。

import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.stereotype.Service;

@Service
public class DataService {

    @Autowired
    private DataRepository dataRepository;

    public Page<DataEntity> getDataByPage(int page, int size) {
        Pageable pageable = PageRequest.of(page, size);
        return dataRepository.findAll(pageable);
    }
}
2.4 多线程导出数据

使用线程池并行处理分页查询和数据写入。

import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.io.FileOutputStream;
import java.io.IOException;
import java.util.List;
import java.util.concurrent.*;

@Service
public class ExcelExportService {

    @Autowired
    private DataService dataService;

    // 线程池配置
    private final ExecutorService executorService = Executors.newFixedThreadPool(10);

    public void exportLargeDataToExcel(String filePath, int pageSize) throws IOException, InterruptedException, ExecutionException {
        // 创建 SXSSFWorkbook，设置内存中保留的行数（默认100）
        try (SXSSFWorkbook workbook = new SXSSFWorkbook(100)) {
            Sheet sheet = workbook.createSheet("Sheet1");

            // 创建表头
            Row headerRow = sheet.createRow(0);
            headerRow.createCell(0).setCellValue("ID");
            headerRow.createCell(1).setCellValue("Name");
            headerRow.createCell(2).setCellValue("Value");

            // 计算总页数
            long totalCount = dataService.getTotalCount();
            int totalPages = (int) Math.ceil((double) totalCount / pageSize);

            // 使用 CountDownLatch 等待所有线程完成
            CountDownLatch latch = new CountDownLatch(totalPages);

            // 提交任务到线程池
            for (int page = 0; page < totalPages; page++) {
                final int currentPage = page;
                executorService.submit(() -> {
                    try {
                        // 分页查询数据
                        Page<DataModel> dataPage = dataService.getDataByPage(currentPage, pageSize);
                        List<DataModel> dataList = dataPage.getContent();

                        // 写入当前页数据
                        synchronized (sheet) {
                            int startRow = currentPage * pageSize + 1; // 数据从第2行开始
                            for (int i = 0; i < dataList.size(); i++) {
                                DataModel data = dataList.get(i);
                                Row row = sheet.createRow(startRow + i);
                                row.createCell(0).setCellValue(data.getId());
                                row.createCell(1).setCellValue(data.getName());
                                row.createCell(2).setCellValue(data.getValue());
                            }
                        }
                    } finally {
                        latch.countDown(); // 任务完成
                    }
                });
            }

            // 等待所有线程完成
            latch.await();

            // 写入文件
            try (FileOutputStream outputStream = new FileOutputStream(filePath)) {
                workbook.write(outputStream);
            }

            // 清理临时文件
            workbook.dispose();
        }

        // 关闭线程池
        executorService.shutdown();
    }
}
2.5 调用导出方法

在Controller或Service中调用导出方法。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.io.IOException;
import java.util.concurrent.ExecutionException;

@RestController
@RequestMapping("/export")
public class ExportController {

    @Autowired
    private ExcelExportService excelExportService;

    @GetMapping("/excel")
    public String exportToExcel() throws IOException, InterruptedException, ExecutionException {
        String filePath = "large_data_export.xlsx";
        excelExportService.exportLargeDataToExcel(filePath, 10000); // 每页查询10000条数据
        return "Export successful! File saved at: " + filePath;
    }
}

三、使用EasyExcel

3.1 添加依赖

在 pom.xml 中添加 EasyExcel 依赖：

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>3.3.2</version>
</dependency>
3.2 定义数据模型

创建一个 Java 类表示导出的数据模型。

import com.alibaba.excel.annotation.ExcelProperty;

public class DataModel {
    @ExcelProperty("ID")
    private Long id;

    @ExcelProperty("Name")
    private String name;

    @ExcelProperty("Value")
    private Double value;

    // 构造方法、Getter 和 Setter
    public DataModel(Long id, String name, Double value) {
        this.id = id;
        this.name = name;
        this.value = value;
    }

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Double getValue() {
        return value;
    }

    public void setValue(Double value) {
        this.value = value;
    }
}
3.3 分页查询数据

使用 Spring Data JPA 或 MyBatis 进行分页查询。

import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.stereotype.Service;

@Service
public class DataService {

    @Autowired
    private DataRepository dataRepository;

    public Page<DataModel> getDataByPage(int page, int size) {
        Pageable pageable = PageRequest.of(page, size);
        return dataRepository.findAll(pageable);
    }
}
3.4 多线程导出数据

使用线程池并行处理分页查询和数据写入。

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.write.metadata.WriteSheet;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.util.List;
import java.util.concurrent.*;

@Service
public class ExcelExportService {

    @Autowired
    private DataService dataService;

    // 线程池配置
    private final ExecutorService executorService = Executors.newFixedThreadPool(10);

    public void exportLargeDataToExcel(HttpServletResponse response, int pageSize) throws IOException, InterruptedException, ExecutionException {
        // 设置响应头
        response.setContentType("application/vnd.ms-excel");
        response.setCharacterEncoding("utf-8");
        String fileName = "large_data_export.xlsx";
        response.setHeader("Content-Disposition", "attachment;filename=" + fileName);

        // 创建 Excel 写入器
        WriteSheet writeSheet = EasyExcel.writerSheet("Sheet1").head(DataModel.class).build();

        // 计算总页数
        int totalPages = (int) Math.ceil((double) dataService.getTotalCount() / pageSize);

        // 使用 CountDownLatch 等待所有线程完成
        CountDownLatch latch = new CountDownLatch(totalPages);

        // 提交任务到线程池
        for (int page = 0; page < totalPages; page++) {
            final int currentPage = page;
            executorService.submit(() -> {
                try {
                    // 分页查询数据
                    Page<DataModel> dataPage = dataService.getDataByPage(currentPage, pageSize);
                    List<DataModel> dataList = dataPage.getContent();

                    // 写入当前页数据
                    EasyExcel.write(response.getOutputStream(), DataModel.class)
                            .sheet("Sheet1")
                            .doWrite(dataList);
                } catch (IOException e) {
                    e.printStackTrace();
                } finally {
                    latch.countDown(); // 任务完成
                }
            });
        }

        // 等待所有线程完成
        latch.await();

        // 关闭线程池
        executorService.shutdown();
    }
}
3.5 Controller 调用导出方法

在 Controller 中调用导出方法。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.util.concurrent.ExecutionException;

@RestController
@RequestMapping("/export")
public class ExportController {

    @Autowired
    private ExcelExportService excelExportService;

    @GetMapping("/excel")
    public void exportToExcel(HttpServletResponse response) throws IOException, InterruptedException, ExecutionException {
        excelExportService.exportLargeDataToExcel(response, 10000); // 每页查询10000条数据
    }
}

四、使用OpenCSV

4.1 添加依赖

在 pom.xml 中添加 OpenCSV 依赖：

<dependency>
    <groupId>com.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>5.8</version>
</dependency>
4.2 定义数据模型

创建一个 Java 类表示导出的数据模型。

public class DataModel {
    private Long id;
    private String name;
    private Double value;

    // 构造方法、Getter 和 Setter
    public DataModel(Long id, String name, Double value) {
        this.id = id;
        this.name = name;
        this.value = value;
    }

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Double getValue() {
        return value;
    }

    public void setValue(Double value) {
        this.value = value;
    }
}
4.3 分页查询数据

使用 Spring Data JPA 或 MyBatis 进行分页查询。

import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.stereotype.Service;

@Service
public class DataService {

    @Autowired
    private DataRepository dataRepository;

    public Page<DataModel> getDataByPage(int page, int size) {
        Pageable pageable = PageRequest.of(page, size);
        return dataRepository.findAll(pageable);
    }

    public long getTotalCount() {
        return dataRepository.count();
    }
}
4.4 多线程导出数据

使用线程池并行处理分页查询和数据写入。

import com.opencsv.CSVWriter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.*;

@Service
public class CsvExportService {

    @Autowired
    private DataService dataService;

    // 线程池配置
    private final ExecutorService executorService = Executors.newFixedThreadPool(10);

    public void exportLargeDataToCsv(String filePath, int pageSize) throws IOException, InterruptedException, ExecutionException {
        // 创建 CSV 写入器
        try (CSVWriter writer = new CSVWriter(new FileWriter(filePath))) {
            // 写入表头
            writer.writeNext(new String[]{"ID", "Name", "Value"});

            // 计算总页数
            long totalCount = dataService.getTotalCount();
            int totalPages = (int) Math.ceil((double) totalCount / pageSize);

            // 使用 Future 保存每个线程的查询结果
            List<Future<List<DataModel>>> futures = new ArrayList<>();

            // 提交任务到线程池
            for (int page = 0; page < totalPages; page++) {
                final int currentPage = page;
                Future<List<DataModel>> future = executorService.submit(() -> {
                    Page<DataModel> dataPage = dataService.getDataByPage(currentPage, pageSize);
                    return dataPage.getContent();
                });
                futures.add(future);
            }

            // 合并所有线程的查询结果并写入 CSV
            for (Future<List<DataModel>> future : futures) {
                List<DataModel> dataList = future.get();
                for (DataModel data : dataList) {
                    writer.writeNext(new String[]{
                            String.valueOf(data.getId()),
                            data.getName(),
                            String.valueOf(data.getValue())
                    });
                }
            }
        }

        // 关闭线程池
        executorService.shutdown();
    }
}
4.5 Controller 调用导出方法

在 Controller 中调用导出方法。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.io.IOException;
import java.util.concurrent.ExecutionException;

@RestController
@RequestMapping("/export")
public class ExportController {

    @Autowired
    private CsvExportService csvExportService;

    @GetMapping("/csv")
    public String exportToCsv() throws IOException, InterruptedException, ExecutionException {
        String filePath = "large_data_export.csv";
        csvExportService.exportLargeDataToCsv(filePath, 10000); // 每页查询10000条数据
        return "Export successful! File saved at: " + filePath;
    }
}
常见的场景优化方案：导出Excel大批量数据的优化过程
weixin_71690375的博客
05-30 2630
团队目前在做一个用户数据看板（下面简称看板），基本覆盖用户的所有行为数据，并生成分析报表，用户行为由多个数据来源组成（餐饮、生活日用、充值消费、交通出行、通讯物流、交通出行、医疗保健、住房物业、运动健康...），看看标红的代码，这个生成Excel的方式是对Excel中的每一个cell进行渲染，逐行的进行数据填充，效率太慢了，根据日志分析发现：基本时间都耗费在数据生成Excel上。目前遇到的主要问题是，随着行为能力逐渐的完善闭环，用户数据沉淀的也越来越多了，同时业务量的也在不断扩大。
JAVA大量数据导出excel
caijigskg的博客
05-09 3433
背景：因项目需要导出3万行+，90列+的数据到excel，使用传统的apache poi 直接导出，导致504连接超时无法导出。然后改造方法，异步导出。
Java导出超大Excel文件，防止内存溢出
CXY_QIQI的博客
05-20 1万+
将业务数据导出到Excel表中，导出任务数据量较大时，导出的项目就会内存溢出，本文通过Java操作Poi的SXSSFWorkbook类进行导出，解决内存溢出问题。 1.采用Poi中的SXSSFWorkbook 在实现excel导出时，在数据量过大的情况下，总是容易发生内存溢出的情况。可以使用POI提供的 SXSSFWorkbook 类来避免内存溢出。 2.maven中引入Poi <!-- poi start --> <dependency> &lt
百万级数据导出 Excel 的高效解决方案：解决 OOM 问题
最新发布
lssffy的博客
05-05 1180
通过分页查询 + SXSSF + 异步导出，成功解决百万级数据导出 Excel 的 OOM 问题。示例集成 Spring Boot 3.2、MySQL 8.4 和 Redis，性能测试表明 100 万行耗时 ~150 秒，内存占用 ~50MB。未来可探索云存储和分布式方案。
java poi大数据量 导出excel
08-05
java中使用poi导出Excel大批量数据 存在两个导出方法：存在一个分批量导出ZIP文件，一个导出exel文件
JAVA导出数据到excel中大数据量的解决方法
05-04
web项目中需要有将数据导出excel的操作需求 使用html格式导出方法，但在导出时，根据最大行数重新建立新的excel文件； 数据从数据库取出使用纯jdbc方式读数据，边读边向文件中写； 待所有数据写完，将各个小excel文件进行打包，输出到输出流中。 一小部分说明 见 http://blog.youkuaiyun.com/lisen1987/article/details/16857359
java csv大数据量导出(千万级别，不会内存溢出)
11-19
java csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
java实现大数量级的数据导出excel，excel数据读取
cai_xu_kun_kun的博客
09-12 1760
分析工具类里面的方法：方法的主要目的是将一个数据列表导出为一个 Excel 文件，使用指定的模板和格式化选项。它通过流式写入的方式高效地处理数据，并确保在完成后正确关闭资源。具体实现的思路，先查询出指定所属地市数据，然后再excelWriter.fill填充到excel表格，最后响应。现在有一个这样的需求：根据指定一个所属地市的所有电缆数据导出成文件（电缆的数据量达到10万级别哦）对于庞大的数据量接口要保证接口响应不能太久，要避免OOM。
Java实现从数据库导出大量数据记录并保存到文件的方法
09-03
在Java编程中，从数据库导出...总之，Java实现从数据库导出大量数据记录并保存到文件，需要掌握数据库连接、SQL执行、结果集处理以及文件操作等基本技能，同时根据实际需求优化性能，确保数据导出的高效性和稳定性。
java excel大数据量导出demo,可支持模板导出
03-16
在Java开发中，处理Excel大数据量的导出是一项常见的任务，尤其在数据分析、报表生成等领域。这个"java excel大数据量导出demo"提供了一个高效、灵活的解决方案，它支持模板导出，分页查询，以及处理大数据量的能力...
java导出大批量(百万以上)数据的excel文件
08-30
在Java开发中，导出大量数据到Excel文件是一项常见的任务，尤其在数据分析、报表生成或者数据备份等场景中。然而，处理百万级别的数据时，传统的直接将所有数据一次性写入Excel文件的方式可能会导致内存消耗过大，...
Java_批量导出大数据量Excel方法.zip
01-12
Java_批量导出大数据量Excel方法.zip
Java使用POI导出大数据量Excel的方法
08-25
今天需要写一个导出的Excel的功能，但是发现当数据量到3万条时，列数在23列时，内存溢出，CPU使用100%,测试环境直接炸掉。小编给大家分享基于java使用POI导出大数据量Excel的方法，感兴趣的朋友一起看看吧
Java实现Excel导入导出操作详解.pptx.pptx
12-19
Java实现Excel导入导出是Java开发中常见的任务，主要用于数据的批量处理和分析，尤其在数据分析、报表生成和数据备份等方面具有广泛应用。要熟练掌握这一技术，开发者需要了解Excel文件的结构，熟悉Java的文件操作，...
java实现文件导入导出
09-02
在Java中，Apache POI库通过`SXSSFWorkbook`类来处理大数据量的Excel文件，这是因为它采用了流式处理方式，能够在内存中仅保留最近使用的行，从而避免了内存溢出的问题。 在`ExportExcel`类中，我们可以看到以下...
java大数据量导出excel（easypoi、easyexcel）
Levi_Wu的博客
10-12 9037
文章目录前言需求实现写在最后 前言 java大数据量导出excel，谨以此篇博客和大家分享下。 需求 需要导出几十万甚至几百万数据到excel。 实现 HouseInfoVO.java @Data public class HouseInfoVO { @Excel(name = "id") private Long id; @Excel(name = "编码") private String code; } 关键代码： List<HouseInfoVO> houseI
java实战：实现百万级数据导出
oandy0的博客
02-18 2965
本文将介绍如何使用Java实现百万级数据导出，同时考虑内存、CPU等性能指标。我们将探讨数据导出的基本流程，并展示一个简单的Java代码示例，该示例使用JDBC和数据库连接池来高效地处理大规模数据导出，并采用分页查询和资源管理等策略来优化性能。通过本文，可以了解到如何在Java应用程序中实现高效的数据导出，并确保系统资源的合理使用。
java 大数据量导出Excel的方案
asd070512的专栏
06-03 358
1.先创建一个excel文件。填上要的表头和两条记录。然后另存为网页test.html。 2.用记事本打开网页test.html，就看到源代码。把源代码分成三部分：头+记录行+尾。 3.循环遍历，用io流写文件，格式为"xxx.xls”。 test.html的头代码+记录行代码（已经被替换）+尾代码。...
Java实现excel大数据量导出
热门推荐
王绍桦
04-25 2万+
1.pom.xml配置依赖包 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.9</version> </dependency> <depend...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值