线程池+CountDownLatch 处理大集合

批量多线程处理数据库数据分析

原创

已于 2022-03-18 10:29:41 修改 · 2.7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#java #开发语言

于 2022-03-16 17:51:19 首次发布

该博客介绍了如何使用Java的ExecutorService和CountDownLatch实现批量数据的多线程处理。通过将数据分批并分配给固定线程池，每个线程处理一部分数据，最后等待所有任务完成。这种方法提高了处理大量数据的效率。

场景：有一个需求：首先从数据库中取出上千条数据，然后需要逐条对数据进行分析，例如分析情感/是否重复等多项分析。

解决：将取出来的上千条，分批+多线程处理。

public class CountDownLatchTest {
    public static void main(String[] args) {
        ArrayList<String> list = new ArrayList<String>();
        for (int i = 0; i < 1000; i++) {
            list.add(String.valueOf(i));
        }


//        int processors = Runtime.getRuntime().availableProcessors();
        ExecutorService threadPool = Executors.newFixedThreadPool(10);


        final CountDownLatch latch = new CountDownLatch(10);

        List<List<String>> splitList = averageAssign(list, 10);

        for (int i = 0; i < splitList.size(); i++) {
            final List<String> temp = splitList.get(i);
            threadPool.execute(() -> {
                Runnable runnable = new Runnable() {

                   @Override
                    public void run() {
//这里可能有坑，要注意 countDown()一定要执行完 ！！！