并发之限流操作

最新推荐文章于 2024-08-21 20:30:00 发布

classabcd

最新推荐文章于 2024-08-21 20:30:00 发布

阅读量490

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/classabcd/article/details/97791561

在导入百万条数据的业务中，由于并发过高导致超过数据库最大连接数3000，出现通信异常。尝试单连接操作业务时，线程间的数据库连接竞争引发问题。为解决此问题，引入限流操作，如使用RateLimiter，在Kotlin和Java中分别展示了限流代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：业务需要导入一百万条数据，for循环开启协程（线程）操作业务时，出现了这个错误

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
   at com.mysql.cj.jdbc.exceptions.SQLError.createCommunicationsException(SQLError.java:174)
   at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:64)
   at com.mysql.cj.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:835)
   at com.mysql.cj.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:455)
   at com.mysql.cj.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:240)
   at com.mysql.cj.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:199)
   at java.sql.DriverManager.getConnection(DriverManager.java:664)
   at java.sql.DriverManager.getConnection(DriverManager.java:247)
   at com.cloudinward.base.db.MysqlDo.getConnection(MysqlDo.kt:22)
   at com.cloudinward.base.mybatis.MybatisUtilKt$doMapperTra$2.invokeSuspend(MybatisUtil.kt:89)
   at kotlin.coroutines.jvm.internal.BaseContinuationImpl.resumeWith(ContinuationImpl.kt:33)
   at kotlinx.coroutines.DispatchedTask.run(Dispatched.kt:238)
   at kotlinx.coroutines.scheduling.CoroutineScheduler.runSafely(CoroutineScheduler.kt:594)
   at kotlinx.coroutines.scheduling.CoroutineScheduler.access$runSafely(CoroutineScheduler.kt:60)
   at kotlinx.coroutines.scheduling.CoroutineScheduler$Worker.run(CoroutineScheduler.kt:742)
Caused by: com.mysql.cj.exceptions.CJCommunicationsException: Communications link failure

出现这个问题是因为超过了数据库最大连接数3000.

我想到用一个数据库连接去操作整个业务时，又出现了这个错误

Cause: org.apache.ibatis.executor.ExecutorException: Executor was closed.

这个问题是为什么呢？高并发操作，当其中一个线程拿到了数据库的连接，它会一直霸占这个连接直到它完成整个业务，那么再它执行整个流程时，其他线程没有数据库的连接就会报这个错了。

这个时候老大告诉我要用限流操作完成这个

可以看看这个链接，什么是限流。

https://www.jianshu.com/p/50c02f770fb7

kotlin语言：

fun main(args: Array<String>){
val limiter= RateLimiter.create(2.0)//一秒限制两个个
for (item in 1..3000) {
limiter.acquire() // 请求RateLimiter, 超过permits会被阻塞
GlobalScope.launch {
print("##############"+item)
}
}
}

Java语言：

public static void main(String[] args) {

 public static void testRateLimiter() {
        ListeningExecutorService executorService = MoreExecutors
                    .listeningDecorator(Executors.newFixedThreadPool(5));

        RateLimiter limiter = RateLimiter.create(4); // 每秒不超过4个任务被提交
            for (int i = 0; i < 50; i++) {
                limiter.acquire(); // 请求RateLimiter, 超过permits会被阻塞
                //executorService.submit(new Task3("is "+ i));
            }
        }

}

class Task3 implements Runnable{
    String str;
    public Task3(String str){
        this.str = str;
    }
    @Override
    public void run() {
        System.out.println("Task2 call execute.." + str);
    }

}