EasyExcel使用Validator进行读取校验,批量处理数据,返回处理异常的行以及列

本文介绍了如何利用EasyExcel结合Validator进行读取校验和批量处理Excel数据,并在处理过程中返回异常的行和列信息。通过自定义监听器,读取数据时进行校验,遇到错误时记录错误行和列,便于用户修正后重新上传。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

EasyExcel使用Validator进行读取校验,批量处理数据,返回处理异常的行以及列

我们通常使用EasyExcel读取数据时,需要写大量的if-else或者断言来确保excel中的数据格式以及内容是否符合我们的需要.而EasyExcel目前尚不支持Validator的校验,(我已经提了好久的issues,一直没加这个功能) https://github.com/alibaba/easyexcel/issues/2250

所以本次是通过ReadListener来实现通过Validator进行校验数据,批量处理数据,返回错误行数

基础环境

  • jdk17
  • maven3.6+
  • springboot3.0+|springboot2.0+
  • easy-excel:3.2.0

依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-validation</artifactId>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
</dependency>

自定义数据处理Listener

通常我们使用EasyExcel读取数据时,都需要自定义一 个ReadListener

EasyExcel读取到数据的时候,会调用invoke方法,读取完成之后会调用doAfterAllAnalysed方法

我们具体的实现就是当EasyExcel调用invoke方法时,此时将得到的数据通过Validator进行校验完成之后,然后统一汇总然后再去处理(比如插入mysql等操作)

如果读校验出现异常,将具体错误的数据格的行与列返回给前端,让用户重新编辑再次上传

具体实现

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.alibaba.excel.metadata.Head;
import com.alibaba.excel.util.ListUtils;
import com.github.mpcloud.framework.core.consts.SuppressWarningsName;
import com.github.mpcloud.framework.core.utils.excel.exception.ExcelDataValidException;
import jakarta.validation.ConstraintViolation;
import jakarta.validation.Validation;
import jakarta.validation.Validator;
import jakarta.validation.groups.Default;
import org.hibernate.validator.HibernateValidator;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.*;
import java.util.function.Consumer;

/**
 * The type Abstract valid listener.
 *
 * @param <T> the type parameter
 * @author : Milo
 */
@SuppressWarnings(SuppressWarningsName.UNUSED)
public class AnalysisValidReadListener<T> extends AnalysisEventListener<T> {
   
   
    private static final Logger log = LoggerFactory.getLogger(AnalysisValidReadListener.class);

    private final Integer batch;
    private final Consumer<List<T>> consumer;
    private final List<T> buffer;
    private final Validator validator;
    private Map<String, Integer> fieldColumnMapping;

    /**
     * Instantiates a new Abstract valid listener.
     */
    public AnalysisValidReadListener(final Consumer<List<T>> consumer) {
   
   
        this(500, consumer);
    }

    /**
     * Instantiates a new Jdbc event listener.
     *
     * @param batch the batch
     */
    public AnalysisValidReadListener(final Integer batch, final Consumer<List<T>> consumer) {
   
   
        this(batch, consumer, Validation.byProvider(HibernateValidator.class)
                .configure()
                
<think>好的,我需要帮助用户了解如何使用EasyExcel数据导入及处理。首先,我得回顾一下用户提供的引用内容,确保回答准确。 首先,用户提到了引用1,里面提到EasyExcel是基于Apache POI的优化封装,专门用于Excel导入导出,适合SpringBoot集成。这说明我应该从环境搭建开始,比如添加依赖到pom.xml。 然后,引用2和引用3都提到了定义数据模型,使用@ExcelProperty注解映射ExcelJava类。这很重要,需要详细说明如何创建实体类,特别是如何处理表头占多的情况,比如index参数。例如,如果表头在第二,可能需要设置@ExcelProperty(index = 2)。 接下来,引用3和4提到了读取Excel的步骤,包括使用监听器处理数据。这里需要解释ReadListener接口的作用,以及如何通过PageReadListener简化处理。可能需要分步骤说明如何编写监听器,将数据存入数据库,并处理异常。 用户的问题还涉及数据处理,比如校验和转换。我需要举例子,比如在监听器中使用校验框架或自定义逻辑检查数据有效性,或者使用@DateTimeFormat处理日期格式。 最后,用户可能遇到的常见问题,比如表头不匹配或大数据处理,需要给出解决方案,比如设置headRowNumber或分页读取。同时,代码示例要符合要求,内公式用$...$,独立公式用$$...$$,但当前问题可能涉及较少数学公式,不过如果有性能分析可能需要用到。 还要注意回答的结构,分步骤说明,并附上代码示例。确保引用正确,每个引用在回答末尾自然标注,比如在提到监听器处理数据时引用[^3][^4]。 最后生成相关问题,可能涉及导入优化、导出教程、异常处理等,确保问题相关且基于引用内容。</think>### 如何使用EasyExcel数据导入及处理 #### 一、环境准备 1. **添加依赖**:在SpringBoot项目的`pom.xml`中引入EasyExcel依赖: ```xml <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>3.3.2</version> </dependency> ``` #### 二、数据模型定义 1. **实体类映射** 使用`@ExcelProperty`注解将ExcelJava字段关联。例如,若Excel表头占两且第三开始为有效数据: ```java public class MonitPointImport { @ExcelProperty(index = 2) // 从第三开始映射 private String pointName; @ExcelProperty(index = 3) private Double value; // 其他字段及Getter/Setter } ``` #### 三、读取Excel文件 1. **基础读取流程** 通过监听器逐处理数据,并保存到数据库: ```java InputStream inputStream = file.getInputStream(); EasyExcel.read(inputStream, MonitPointImport.class, new PointImportListener()) .sheet() .doRead(); ``` 2. **监听器实现** 继承`ReadListener`接口,实现数据校验与持久化逻辑: ```java public class PointImportListener implements ReadListener<MonitPointImport> { @Override public void invoke(MonitPointImport data, AnalysisContext context) { // 数据校验(如非空检查) if (data.getValue() < 0) throw new RuntimeException("数值无效"); // 插入数据库 monitPointMapper.insert(data); } @Override public void doAfterAllAnalysed(AnalysisContext context) { // 收尾操作(如关闭连接) } } ``` #### 四、数据处理优化 1. **数据校验** 使用Hibernate Validator或自定义校验规则,例如: ```java @ExcelProperty(index = 2) @NotBlank(message = "监测点名称不能为空") private String pointName; ``` 2. **类型转换** 通过`@DateTimeFormat`或自定义转换器处理复杂格式: ```java @ExcelProperty(index = 4) @DateTimeFormat("yyyy-MM-dd") private Date recordDate; ``` #### 五、异常处理 1. **全局捕获异常** 在SpringBoot中统一处理读取异常: ```java @ExceptionHandler(Exception.class) public ApiResponseBody handleReadException(Exception e) { return ApiResponseBody.error("导入失败: " + e.getMessage()); } ``` #### 六、性能优化 - **分页读取**:使用`PageReadListener`分批次处理数据,降低内存占用。 - **异步写入**:结合线程池异步执数据库插入操作。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值