多线程分段处理批量数据

最新推荐文章于 2023-12-23 15:58:45 发布

M_lol

最新推荐文章于 2023-12-23 15:58:45 发布

阅读量870

点赞数

分类专栏： java 文章标签：多线程

本文链接：https://blog.youkuaiyun.com/OoCGO/article/details/118997417

版权

本文探讨如何利用多线程有效地分段处理大量数据，提高处理效率。通过将大批次数据拆分成小段，并分配给不同线程进行并发处理，可以显著减少整体处理时间。同时，文章会涉及线程同步和资源管理策略，确保数据处理的正确性和系统稳定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.*;
import java.util.stream.Collectors;

/**
 * @Description
 * @Author
 * @Date 2021/7/22 13:44
 */
@Slf4j
@Component
public class ThreadHandle {

    // 最小分段大小
    private static final int MIN_SEGMENT_SITZ = 5;
    // 最大处理线程
    private static final int MAX_THREAD = 5;
    // springboot框架线程处理
    @Autowired
    private static Executor executor;


    public static void main(String[] args) {
        ExecutorService newCachedThreadPool = Executors.newCachedThreadPool();
        List<User> userList = getUserList();
        List<List<User>> partition = partition(userList);
        // 结果列表
        List<FutureTask<Integer>> resultList = new ArrayList<>()

最低0.47元/天解锁文章