获取list中的数据使用多线程执行入库

原创

于 2024-08-26 19:13:57 发布 · 451 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#list #java

1.将list分割并用多线程处理

private SyncRespData dealListByPool(List<Map<String,Object>> list, int nThreads, String uniqueCode) throws Exception {
        if (list == null || list.isEmpty()) {
            throw new NullPointerException("the collection is null");
        }

        //计算每个分组存多个数据

        int capactiy = list.size() % nThreads > 0 ? list.size() / nThreads : list.size() / nThreads + 1;
        if(list.size()<16){
            capactiy=1;
        }
        //进行数据分组(分任务)例如，对包含[a，b，c，d，e]的列表进行分区，分区大小为3，得到[[a，b，c]，[d，e]]——一个包含三个和两个元素的两个内部列表的外部列表，所有列表都按原始顺序排列。
        List<List<Map<String,Object>>> partions = Lists.partition(list, capactiy);
        // 创建一个临时的局部线程池（固定大小）
        ExecutorService executorService = Executors.newFixedThreadPool(nThreads);
        // 保存结果
        List<Future<SyncRespData>> futures = new ArrayList<Future<SyncRespData>>(partions.size());

        // 分配任务
        f