多线程高并发下，将每个线程处理的数据分别存入redis，线程全部执行完毕再依次从redis取出数据

最新推荐文章于 2024-08-20 02:06:36 发布

北途

最新推荐文章于 2024-08-20 02:06:36 发布

阅读量2.2k

点赞数 1

分类专栏： java笔记文章标签： java 多线程 redis 队列

本文链接：https://blog.youkuaiyun.com/qq_32400615/article/details/109454881

版权

java笔记专栏收录该内容

2 篇文章

订阅专栏

博客围绕多线程高并发场景，阐述将各线程处理的数据存入Redis，线程执行完再取出持久化到数据库的过程。遇到数据重复插入和覆盖问题，先尝试加锁解决失败，后用队列让各线程存到不同键中解决问题，并给出部分代码参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

多线程高并发下，将每个线程处理的数据分别存入redis，线程全部执行完毕再依次从redis取出数据

场景：多线程从数据库中查询数据，每个线程在处理完数据后将数据存入redis；线程全部执行结束后从redis中取出数据，持久化到数据库。
遇到的问题：高并发下，每个线程的数据在存入redis中时，会遇到数据重复插入以及覆盖的问题
解决过程：
1.每个线程的数据存入redis的同一个键中，尝试用加锁的方式解决重复插入和覆盖的问题，失败；
2.而后尝试每个线程的数据分别存入不同的键中，如何保证每个线程都能单独存入不同的键呢？利用队列即可解决，单个线程处理完，缓存数据到redis时，从队列中取出一个值用作redis的键；下面贴出部分代码：

创建线程池

        // 拆分成'THREAD_SIZE'个List,每个线程处理一个
        List<List<String>> callableList = ListUtil.averageAssign(tableList, THREAD_SIZE);
        // 简单创建线程池
        ExecutorService executorService = Executors.newFixedThreadPool(THREAD_SIZE);
        FutureTask<String> futureTask = null;
        // 创建一个List，存放futureTask
        List<FutureTask<String>> futureList = new ArrayList<>();
        //创建一个队列，根据线程数量的多少存入值，后续用作redis的键
        LinkedBlockingDeque<Integer> tableQueue = new LinkedBlockingDeque<>();
        for (int i = 1; i <= callableList.size(); i++) {
            tableQueue.add(i);
        }
        // 每个List交由一个线程进行处理
        for (List<String> tables : callableList) {
            // Lambda表达式处理
            futureTask = new FutureTask<>(() -> {
                return exploreTask(tables,tableQueue);
            });
            executorService.submit(futureTask);
            futureList.add(futureTask);
        }

代码截图
单个线程的处理逻辑

		//处理数据的代码，略.......
        //得到处理结果 tableMetadataList
        
        //从队列中弹出一个元素
        Integer redisKey = linkedBlockingDeque.pop();
        //结果数据存入redis中，用队列中弹出的元素作为键
        redisCache(redisKey + "_tableMetadataList", JSON.toJSONString(tableMetadataList));

在这里插入图片描述
线程全部执行完毕，从redis中取出数据

		//创建List，存放redis中取出的数据
        List<TableMetadata> tableMetadataList = new ArrayList<>();
        for (int i = 1; i <= THREAD_SIZE; i++) {
            //从redis中取出数据
            List<TableMetadata> temp = JSON.parseArray(redisService.get(i + "_tableMetadataList"), TableMetadata.class);
            if (temp != null) {
                tableMetadataList.addAll(temp);
            }
        }

在这里插入图片描述
以上，就是整个场景的处理过程，仅供参考。