Redis踩坑分享:Thread limit exceeded replacing blocked worker

在这里插入图片描述
Caused by: java.util.concurrent.RejectedExecutionException: Thread limit exceeded replacing blocked worker

  • 在process方法中,使用了CompletableFuture.runAsync()对每个item并发处理。
  • 默认情况下,CompletableFuture.runAsync()使用的是ForkJoinPool.commonPool(),这个线程池的大小一般是CPU核心数,并不适合大规模并发任务。
  • 当任务数远大于线程池容量时,线程池会抛出RejectedExecutionException。
  • Redis操作本身是IO密集型,不建议用大量线程并发操作,否则会导致资源争抢、阻塞,反而变慢
    修改点:将所有CompletableFuture.runAsync(() -> { … })替换为CompletableFuture.runAsync(() -> { … }, STATISTICS_EXECUTOR)。

或者直接串行处理(如果数据量不大)
如果数据量不是很大,直接用for循环串行处理即可,避免并发带来的复杂性。


Redis批量操作优化
如果可以,尽量减少对Redis的频繁set操作,合并写入或用pipeline。


线程池资源释放
如果你用自定义线程池,建议在应用关闭时调用STATISTICS_EXECUTOR.shutdown(),避免资源泄漏。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值