多线程快速处理List集合（结合线程池的使用）

关注

原创 2022-07-12 11:04:48 5.2k 阅读 AI 写同款· GEO 优化 ›

Java——使用多线程从list中不重复地取出数据并进行处理，给多线程任务添加单项任务计时和总耗时大部分的业务都不是独立运行的，会有参数传递到业务中，如果需要多线程调用的业务有主线程的参数需要传递过去，就可以把参数写在实现了Runnable接口的业务类的私有属性中，用业务类的构造方法传参。在业务里，使用多个线程并行处理业务能够极大的加快处理速度，但是如果我们需要明确掌握每次处理业务的耗时，和所有业务处理完成的总耗时，就可以通过CountDownLatch来帮我们实现。把处理数据的方法写在处理类中重写的Runnable接口的run()方法中。在方法中调用了属性num。添加了以上属性的构造方法。阅读详情

有一个大List集合，遍历进行一些耗时操作，不能达到性能要求，查询日志，单个任务虽然有不少数据库和第三方API请求，比较耗时，但返回效率尚可，所以优先采用多线程方式进行处理并行请求数据库和第三方API，因为处理完还要对list所属的数据进行操作，所以，线程池多线程处理要等待全部处理完。

上代码：

import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;


public class testList {
    public static void main(String [] args) {
        List<String> list = new ArrayList<>();
        for (int i = 1; i <= 900; i++) {
            list.add("a"+i);
        }
        ExecutorService touchWorker = Executors.newFixedThreadPool(9, Executors.defaultThreadFactory());
        int size = list.size();
        long start=System.currentTimeMillis();
        if (size > 100) {
            int batch = size % 100 == 0 ? size / 100 : size / 100 + 1; //将List集合切片
            for (int j = 0; j < batch; j++) {
                int end = (j + 1) * 100;
                if (end > size) {
                    end = size;
                }
                List<String> subList = list.subList(j * 100, end);//截取每个小分片的数据 第一次是0-100的数据以此类推
                touchWorker.execute(()-> sleepTest(subList));//让线程池执行工作
            }
            touchWorker.shutdown();//关闭线程池
            while (true) {
                if (touchWorker.isTerminated()) {
                    break;
                }
            }
        } else {
            sleepTest(list);
        }
        long end =System.currentTimeMillis();
        System.out.println((end-start)/1000);
    }

    private static void sleepTest(List<String> subList) {
        for (String i : subList) {
            try {
                //耗时操作
                System.out.println("######" + i + "######" + Thread.currentThread().getName());
                Thread.sleep(100);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

执行结果：
一共耗时10s；
在这里插入图片描述可以看到我上面是让每个操作都休眠0.1s，然后开了9个线程，分片也正好是分了9个片，所以每个线程都拿到100条数据进行处理，这是最快的方式，如果固定线程池开5个线程的话，还是同样的操作，那么看现在的执行时间：
在这里插入图片描述
用时20s，也可以想到，前面5个处理500条用了10秒，后面4个线程处理剩下的400条也耗时10秒。所以在实际的工作中可以动态的根据分片的大小调整线程池里线程的数量。

void shutdown()
启动一次顺序关闭，执行以前提交的任务，但不接受新任务。若已经关闭，则调用没有其他作用。
抛出：SecurityException - 如果安全管理器存在并且关闭，此 ExecutorService 可能操作某些不允许调用者修改的线程（因为它没有保持RuntimePermission(“modifyThread”)），或者安全管理器的 checkAccess 方法拒绝访问。

boolean isTerminated()
若关闭后所有任务都已完成，则返回true。注意除非首先调用shutdown或shutdownNow，否则isTerminated永不为true。返回：若关闭后所有任务都已完成，则返回true。

至于用哪种线程池的话可以看下面
参考文章里

参考文章：
https://blog.youkuaiyun.com/qililong88/article/details/114320641

四种常见线程池介绍及使用举例

使用无限大小线程池 newCachedThreadPool 可能遇到的问题

java多线程：使用newFixedThreadPool方法创建指定线程数量的线程池

整理收集几种多线程分段处理list集合的方法

Java中终止（销毁）线程的方法

收录于