【2】高并发导出场景下，服务器性能瓶颈优化方案-异步导出

leon7199

已于 2025-02-05 17:33:58 修改

阅读量752

点赞数 9

文章标签：服务器数据库运维

于 2025-02-05 17:32:23 首次发布

本文链接：https://blog.youkuaiyun.com/lichunyu7199/article/details/145457689

版权

Java 异步导出是一种在处理大量数据或复杂任务时优化性能和用户体验的重要技术。

1. 异步导出的优势

异步导出是指将导出操作从主线程中分离出来，通过后台线程或异步任务完成数据处理和文件生成。这种方式可以显著减少用户等待时间，避免系统阻塞，并提升整体性能。

优势：

提高响应速度：用户在触发导出操作后立即返回，无需等待导出完成，从而提升用户体验。
降低系统负载：将耗时操作移至后台执行，减少主线程的占用，提高系统并发能力。
适用于大数据量场景：在处理百万级甚至更大的数据量时，异步导出能够有效避免内存溢出和性能瓶颈。

2. 实现方式

Java 异步导出可以通过多种方式实现，包括多线程、异步框架、注解以及特定库的支持。

（1）多线程实现

使用 Java 的 Thread 类或 ExecutorService 来创建独立线程处理导出任务。例如：

ExecutorService executor = Executors.newFixedThreadPool(10);
executor.submit(() -> {
    // 执行导出逻辑
});

这种方式简单直接，适合处理较小的数据量。

（2）异步框架支持

使用 Spring 框架中的异步方法（@Async 注解）来实现异步导出：

@Service
public class ExportService {
    @Async("asyncExecutor")
    public void exportData() {
        // 导出逻辑
    }
}

这种方式可以方便地管理异步任务，并支持任务调度和状态跟踪。

（3）注解优化

通过自定义注解（如 @Export）标记需要异步处理的方法，简化代码逻辑。

（4）特定库支持

使用 EasyExcel 等库提供的异步导出功能：

public void exportDataAsync() {
    EasyExcel.write(new File("output.xlsx"), YourDataClass.class)
        .sheet("Sheet1")
        .doWrite(dataList);
}

（5）下载任务管理+定时任务+文件存储服务

用户点击导出时，先记录用户请求。通过定时任务再执行导出，并将导出的文件上传到文件存储服务（例如腾讯的COS）。

//1.下载调用的方法 
public void asyncExportData(QueryParam param) {
        //exportData为定时任务需要触发的实际导出方法
        ExportTask task = ExportTask.builder()
                .methodClassName(XXService.class.getName())
                .methodName("exportData")
                .queryParam(JSON.toJSONString(param))
                .paramClassName(param.getClass().getName())
                .build();
        this.save(task);
 }

//2.定时任务遍历导出任务表，查询待执行导出的记录 
public void executeExportTask() {
        List<ExportTask> list = exportTaskService.listExportTask(pageSize);
        log.info("当前处理任务exportTask={}", JSON.toJSON(list));
        if (CollUtil.isEmpty(list)) {
            return;
        }
        for (ExportTask task : list) {
            try {
                Class<?> methodClass = ClassUtil.loadClass(task.getMethodClassName(), false);
                Object methodBean = SpringUtil.getBean(methodClass);
                Class<Object> paramClass = ClassUtil.loadClass(task.getParamClassName(), false);
                ObjectMapper mapper = new ObjectMapper();
                Object value = mapper.readValue(task.getQueryParam(), paramClass);
                methodClass.getMethod(task.getMethodName(), paramClass).invoke(methodBean, value);
            } catch (Exception e) {
                log.error("taskId={}执行异常，异常原因:{}", task.getId(),  e);
            }
        }
    }

//3.实际的导出方法
public void exportData(QueryParam param) {
        //使用param参数，从数据库查询业务数据
        List<ExportDto> list= new ArrayList<>();
        ByteArrayOutputStream out = new ByteArrayOutputStream();
        EasyExcel.write(out, ExportDto.class)
                .sheet(0)
                .doWrite(list);
}

public class ExportTask {

    protected Long id;

    private String fileUrl;

    private Integer processStatus;

    private String failCause;

    //导出方法对应的类全限定名
    private String methodClassName;

    //导出方法名
    private String methodName;

    //请求参数
    private String queryParam;

    //请求参数对应的类名
    private String paramClassName;

    private Date createDateTime;

    private Date lastUpdateDateTime;
}