记录一次list拆分,并开启多线程处理

原创已于 2022-04-29 10:02:57 修改 · 474 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java

于 2022-04-22 18:54:40 首次发布

该篇博客介绍了如何在Java中将一个大列表拆分成多个小批次，并利用多线程进行处理。通过CountDownLatch实现线程同步，确保所有线程执行完毕后再进行下一步操作。代码示例展示了如何创建线程池并异步处理每个批次的数据。

记录一次list拆分,并开启多线程处理

    public static <T> Map<Integer,List<T>> batchList(List<T> list, int batchSize){
        Map<Integer,List<T>> itemMap = new HashMap<>();
        itemMap.put(1, new ArrayList<T>());
        for(T e : list){
            List<T> batchList= itemMap.get(itemMap.size());
            //当list满足批次数量，新建一个list存放后面的数据
            if(batchList.size() == batchSize){
                batchList = new ArrayList<T>();
                itemMap.put(itemMap.size()+1, batchList);
            }
            batchList.add(e);
        }
        return itemMap;
    }

    public void testThead(){
        List<Integer> list = new ArrayList<>(100000);
        for(int i=0; i< 100000; i++) {
            list.add(i);
        }
        int threadSize = 10;
        int batcSize = list.size()/threadSize + 1;
        System.out.println(batcSize);
        Map<Integer,List<Integer>> itemMap = batchList(list, batcSize);
        CountDownLatch countDownLatch = new CountDownLatch(itemMap.size());
        //分批次更新
        for(Integer i : itemMap.keySet()){
            CompletableFuture.runAsync(() -> {
	            System.out.println(i+"->"+"size:"+itemMap.get(i).size()+"->"+itemMap.get(i));
	            countDownLatch.countDown();
            }, threadPool);
          
        }
        try {
            Thread.sleep(3000);
            countDownLatch.await(); // 等待计算器归零，然后再向下执行
            System.out.println("end");
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

    }

在这里插入图片描述