数据库连接池阻塞问题定位

最新推荐文章于 2024-01-25 18:19:09 发布
最新推荐文章于 2024-01-25 18:19:09 发布
阅读量2.2k 收藏 4
点赞数
分类专栏： 开发小问题 文章标签： 连接池
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xinpz/article/details/117932200
版权

 

北斗云数据库连接池阻塞

问题定位

 

 

 

 

 

 

 

 

 

 

二零二一年五月

 

 

 

北斗云数据库连接池阻塞问题定位

  • 问题描述

    北斗云系统反应部分商户服务异常，登录不上去等。

  • 问题定位
  1. 查看错误日志

由于北

最低0.47元/天 解锁文章
接口获取数据库连接阻塞问题
天蝎的毒刺
10-26 3877
问题描述 接口URL：http://192.168.10.200:20200/h5-customer/customer/card/consumerCard/submit?cardId=card_20171010210403659539&cityCode=110100&token=lOukBdwqvVBOpj9EUPiA 在压测提交充值卡订单接口，在并发数200情况下，jmeter 图表
JDBC 数据库连接池详解和示例
菜鸟心声：学的不仅是技术，更是梦想！
12-28 1320
JDBC数据库连接池学习目标数据库连接池数据库连接池原理第一步第二步第三步第四步第五步DBCPDBCP参数方法1方法2C3P0方法1方法2DbUtilsQueryRunner核心类ResultSetHandler结果集处理类案例查询其他方法作业模拟数据库连接池DBCP 连接池C3P0连接池 学习目标 了解数据库连接池的原理 了解C3P0数据库连接池 了解DBCP数据库连接池 掌握Druid数据库连接池 数据库连接池 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用现有的N个（自定义）数
从Druid数据库连接池获取连接的时候超时了,Socket读阻塞
热门推荐
aiyo92的专栏
01-18 2万+
一. 背景 17年公司有个项目组在南京做项目的时候，开发框架用的是spring boot ，数据库连接池用的是druid，但老是遇到socket read timeout的错误，不得已放弃了druid而改用了tomcat数据库连接池，问题得到解决，也就没有深入找druid的原因了（按理说牛掰的druid不应该啊）。 时间到了18年，我所在的项目组到了安徽马鞍山...
工作笔记（一）：Druid连接池未正确设置参数导致的阻塞问题分析
weixin_39739810的博客
12-22 2688
背景 最近和其他组的小伙伴在联调施工代码时，发现工单下发后一直阻塞在组件控制台几个小时都没有返回，查看日志后发现是后端数据库挂掉的原因，但是按照之前使用的情况，spring boot 默认情况下数据库连不上是会直接返回。针对该情况本地启动原项目代码进行模拟 问题排查 先关闭后端测试库，调用下单接口，这里使用的是idea自带的http client来发送请求，然后进入阻塞 使用jps查找对应的java进程，获取pid 通过jstac...
基于阻塞队列纯手写实现数据库连接池
LeoByte的编程驿站
04-08 2854
项目做不完可能最近不打算春招了
druid连接池 - 长时间阻塞问题排查
Evan_L的博客
11-13 7945
前言 最近参与一个新项目，从老项目拷贝过来的代码，同样用的druid连接池 + PG。但是新项目却经常出现阻塞的情况，有时候甚至可以阻塞半个小时。一时间傻眼了。。 问题排查 问题背景 我们一共有6个开发同学，由于项目时间还是比较紧张的，所以大部分时间还是在开发，而不会发访问服务器。而当前阶段也还没有提测，没有其他同学的介入。而且每次第二天早上都会出现这种阻塞的情况。 请教DBA大佬 由于配置跟老项目一模一样，所以第一个反应是数据库出什么问题了？找DBA断断续续排查了好几天（太忙了，主要还是搞开发），最后发现
druid数据库连接池
03-22
Druid数据库连接池是一款高效、功能强大且高度可扩展的数据库连接池组件，由阿里巴巴公司开源。在Java应用程序中，数据库连接池是管理数据库连接的重要工具，它可以显著提高应用的性能和资源利用率。Druid因其出色的...
HikariCP数据库连接池所需jar包.zip
07-12
HikariCP是一个高效、高性能的Java数据库连接池，它被设计为替代其他连接池，如C3P0和DBCP。HikariCP以其快速的连接建立速度、优秀的性能以及对资源的有效管理而著名，它在许多大型项目中被广泛采用，包括Spring ...
MySQL数据库连接池失效问题分析与解决方案：快速解决连接池失效问题，保障数据库连接稳定性
[MySQL数据库连接池失效问题分析与解决方案：快速解决连接池失效问题，保障数据库连接稳定性](https://img-blog.csdnimg.cn/53f081d126d74b72b38e69a7a5b26296.png?x-oss-process=image/watermark,type_d3F5...
mysql中断的数据库连接而导致的阻塞
chifenchen4793的博客
03-15 666
MySql Host is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts' 解决方法 环境：linux，mysql5.5.21 错误：Host is blocked bec...
Druid数据库连接池
07-19
自己封装的阿里的Druid数据库连接池和Apache的DBUtils集成JDBC的工具类，可直接拿来使用
记一次数据库连接池阻塞导致的服务异常
weixin_34375054的博客
01-25 1102
为什么80%的码农都做不了架构师？>>> ...
Druid数据库连接池获取连接超时阻塞（转载）
MinFtSc的博客
11-20 5451
一. 背景 17年公司有个项目组在南京做项目的时候，开发框架用的是spring boot ，数据库连接池用的是druid，但老是遇到socket read timeout的错误，不得已放弃了druid而改用了tomcat数据库连接池，问题得到解决，也就没有深入找druid的原因了（按理说牛掰的druid不应该啊）。 时间到了18年，我所在的项目组到了安徽马鞍山...
踩坑----数据库阻塞
weixin_30555515的博客
09-11 130
　　维护之前的工程，发现很多用原生的jdbc进行数据库操作，但是很多操作都是执行了没有关闭连接，或者没有关闭结果集，占用了资源，只是没有重视，终有一天出现了问题。在一次上线之后，有个查询界面，多点击几次，就卡主不动了，整个管理系统都访问不了了，除了是跟数据库操作无关的还可以访问。 　　后面排查了下，就是因为有一条查询语句，用了原生的jdbc，然而使用后没有关闭连接，也没有关闭结果集，导致连接一直...
Druid连接池druidDataSource.getConnection()一直pending没有返回
happy_wang_wang的博客
01-25 1783
请求接口后，接口切面的前置日志系统收到了请求并打印了日志，打断点debug后发现，接口请求依然进入了代码中，最后操作进行操作数据库相关操作时，出现了接口pending一支没有返回值，后续仔细断点排查发现，在获取数据连接时。代码在运行一段时间之后，整体服务就不可用了，但是日志中却没有任何的错误打印。说明了默认的8个链接已经被用完了，创建了0，那么很明显就是连接数占用满了导致的pending，那么我们只需要调大最大连接数的配置，并且设置自动回收超时时间以及自动回收超时连接配置开机就能解决。
druid连接池因数据库故障导致主线程挂起停止响应的优化
forgetmetoo的博客
03-19 5226
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
记录压测时阿里druid获取数据源连接阻塞的bug
qq_38252052的博客
08-11 519
查找到druid mysqlUtis类后发现。出现阻塞原因在于版本不匹配，低版本的driud加载的是com.mysql.jdbc.MySQLConnection，而8.0版本的mysql-connector用的是com.mysql.cj.jdbc.ConnectionImpl。升级druid到1.2以上版本问题解决。使用的druid版本为1.1.9，mysql-connector版本为8.0.19。低版本druid mysqlUtis类代码。
诡异的druid链接池链接断开故障经验总结
深蓝旭的博客
07-16 5270
背景 症状 排查 修复 背景 最近在陆续做机房升级相关工作，配合DBA对产线数据库链接方式做个调整，将原来直接链接读库的地址切换到统一的读负载均衡的代理 haproxy 上，方便机柜和服务器的搬迁。 切换之后线上时不时的会发生 discard connection 错误，导致程序报 500 错误，但不是每次都必现的。 开发框架: spring boot+mybatis+druid+shardingJDBC 网络架构: appserver->mysql(master) 写 appserver...
druid连接池引起的线程blocked
wajueji的博客
03-05 1111
一、前言  最近在捣鼓演示应用的时候发现一个druid连接池引起的线程blocked问题。先声明下，这个问题是druid 1.1.23版本之前的一个bug，并不是说druid存在明显的性能问题。  github上其实已经有相关的issue：https://github.com/alibaba/dr...；也可以关注下druid各版本的release信息：https://github.com/ali...
如何配置数据库连接池解决多数据源切换延时问题
最新发布
04-03
<think>好的，用户现在问的是如何配置数据库连接池解决多数据源切换延时问题。我需要先回顾一下之前的对话历史，看看有没有相关的信息可以参考。用户之前问过Druid，我详细介绍了Druid的特点和架构，现在这个问题可能和Druid的连接池有关，或者用户在使用多数据源时遇到了延迟问题。 首先，用户的问题核心是多数据源切换时的延迟，这可能出现在需要同时连接多个数据库的应用中，比如微服务架构或者多租户系统。连接池的配置在这里很关键，因为不合理的配置可能导致连接获取慢，切换数据源时耗时增加。 接下来，我需要分析可能的原因。延迟可能来自几个方面：连接池初始化慢，连接获取等待时间过长，或者数据源切换策略本身的问题。比如，如果每个数据源的连接池初始化都是懒加载的，第一次请求时才会创建连接，这会导致首次切换延迟。另外，如果连接池的最大连接数设置过小，在高并发下可能出现等待，导致延迟。 解决方案方面，可能需要预初始化连接池，确保各个数据源的连接池在应用启动时就创建好，而不是在第一次请求时。另外，合理配置连接池参数，比如最大最小连接数、超时时间等，可以减少获取连接的等待。同时，使用动态数据源路由，结合线程上下文来切换，避免频繁的初始化或销毁连接池。 还要考虑数据源缓存的优化，比如使用LRU缓存策略保留常用数据源的连接池，避免频繁创建和销毁。异步初始化可能也是一个办法，在后台线程中提前初始化连接池，减少首次访问的延迟。 另外，需要检查是否正确地使用了连接池，比如及时释放连接，避免泄漏，这也会影响性能。监控工具的使用也很重要，比如Druid自带的监控，可以帮助识别瓶颈。 用户可能已经使用了类似Druid这样的连接池，所以需要具体说明如何配置它来处理多数据源。比如在Spring Boot中，如何配置多个数据源，设置连接池参数，以及使用AbstractRoutingDataSource来实现动态切换。 还要提醒用户注意的一些常见问题，比如避免连接泄漏，配置合理的超时时间，以及如何监控连接池状态。可能用户在实际操作中遇到了配置不当导致的延迟，需要给出具体的配置示例和最佳实践。 最后，总结关键点，强调预初始化、参数优化、动态路由和缓存策略的重要性，确保用户能够一步步实施这些优化措施，减少多数据源切换的延迟。</think>以下是分步骤解决多数据源切换延迟问题的配置方案： --- ### 1. **问题定位** 多数据源切换延迟通常由以下原因导致： - **连接池初始化延迟**：首次请求时创建连接池耗时 - **连接获取等待**：连接池资源不足导致线程阻塞 - **上下文切换开销**：频繁切换数据源的元数据加载成本 --- ### 2. **核心优化策略** #### 步骤1：预初始化连接池 ```java // Spring Boot 示例：强制启动时初始化主从数据源 @Bean(initMethod = "init") public DataSource masterDataSource() { DruidDataSource ds = new DruidDataSource(); ds.setUrl("jdbc:mysql://master:3306/db"); ds.setInitialSize(5); // 初始连接数 return ds; } @Bean(initMethod = "init") public DataSource slaveDataSource() { DruidDataSource ds = new DruidDataSource(); ds.setUrl("jdbc:mysql://slave:3306/db"); ds.setInitialSize(5); return ds; } ``` **关键参数**： - `initialSize`：启动时建立的物理连接数 - `maxActive`：最大并发连接数（建议根据业务压力调整） --- #### 步骤2：动态数据源路由配置 ```java public class DynamicDataSource extends AbstractRoutingDataSource { @Override protected Object determineCurrentLookupKey() { return DataSourceContextHolder.getDataSourceKey(); // 从ThreadLocal获取数据源标识 } } // 配置多数据源 @Bean public DataSource dynamicDataSource() { Map<Object, Object> targetDataSources = new HashMap<>(); targetDataSources.put("master", masterDataSource()); targetDataSources.put("slave", slaveDataSource()); DynamicDataSource ds = new DynamicDataSource(); ds.setTargetDataSources(targetDataSources); ds.setDefaultTargetDataSource(masterDataSource()); return ds; } ``` --- #### 步骤3：连接池参数优化（以Druid为例） ```properties # 通用配置 druid.initialSize=5 druid.minIdle=3 druid.maxActive=20 druid.maxWait=500 # 获取连接最大等待时间(ms) # 防泄漏配置 druid.removeAbandoned=true druid.removeAbandonedTimeout=300 # 自动关闭空闲超时连接 # 保活检测 druid.timeBetweenEvictionRunsMillis=60000 druid.minEvictableIdleTimeMillis=300000 ``` --- #### 步骤4：数据源缓存优化 - **LRU缓存策略**：保留最近使用的3-5个数据源连接池 - **异步预热**：后台线程提前建立备用数据源的初始连接 ```java // Guava Cache示例 LoadingCache<String, DataSource> dsCache = CacheBuilder.newBuilder() .maximumSize(5) // 最大缓存数据源数 .build(new CacheLoader<String, DataSource>() { public DataSource load(String key) { return createDataSource(key); // 异步初始化 } }); ``` --- ### 3. **高级优化技巧** #### 3.1 连接验证优化 ```properties # 禁用每次获取连接时的校验（改为定时校验） druid.testOnBorrow=false druid.testWhileIdle=true druid.validationQuery=SELECT 1 ``` #### 3.2 使用协程/虚拟线程（JDK21+） ```java // 使用虚拟线程减少上下文切换开销 ExecutorService executor = Executors.newVirtualThreadPerTaskExecutor(); CompletableFuture.supplyAsync(() -> { DataSourceContextHolder.setKey("slave"); return querySlaveData(); }, executor); ``` --- ### 4. **监控与调优** - **启用Druid监控**： ```java @Bean public ServletRegistrationBean<StatViewServlet> druidServlet() { return new ServletRegistrationBean<>(new StatViewServlet(), "/druid/*"); } ``` - **关键监控指标**： - `WaitThreadCount`：等待连接的线程数 - `PoolingCount`：当前活跃连接数 - `ActiveCount`：正在使用的连接数 --- ### 5. **常见问题处理** | 现象 | 解决方案 | |----------------------|-----------------------------------| | 首次切换延迟高 | 预初始化+设置合理的initialSize | | 高并发时切换卡顿 | 增大maxActive+缩短maxWait时间 | | 长时间空闲后超时 | 配置testWhileIdle+timeBetweenEvictionRunsMillis | | 线程阻塞导致雪崩 | 使用Hystrix等熔断机制保护 | --- ### 总结 通过**预初始化连接池**、**优化连接获取策略**、**动态路由管理**和**合理参数配置**，可将多数据源切换延迟控制在10ms以内。建议结合压力测试工具（如JMeter）验证不同场景下的性能表现，并根据监控数据持续调优。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值