Hikaricp连接池问题

Hikari并发无锁化详解 前言 目前SpringBoot默认的数据库连接池是Hikari,相对于Druid连接池来说: Hikari的特点就是快,其内部运用了很多优化机制和操作,主要就是为了更高的性能。 而Druid连接池特点不是快,是对数据和sql的监控分析。 两者各有各的特点,没有哪个是最好,根据项目和需求选择适合的连接池。 FastList Hikari连接池内部为了有更好的性能,放弃了使用ArrayList集合,而是自定义了一个FastList集合 其内部和ArrayList实现相似,主要在get方法和remove 阅读详情
AI摘要

针对生产环境中HikariCP连接池出现的连接获取超时问题,通过深入分析配置参数,如connectionTimeout、idleTimeout、maxLifetime和maximumPoolSize,进行系统优化,有效解决了数据库连接异常。

 

2019年03月29日 10:30:27 zhangjunli 阅读数 542

HiKari源于日语“光”的意思,HiKariCP顾名思义就是 和光速一样快,HiKariCP是数据库连接池的一个后起之秀,号称性能最好,稳定性也不错,完美地PK掉其他连接池。这里提供一篇文章介绍主流Java数据库连接池比较及前瞻,文中重点介绍了当前主流开源数据库连接池(比如C3P0、DBCP、Tomcat Jdbc Pool、Druid和Hikaricp)的性能分析和功能比较,有一定的参考价值。

       回到本文正题,近期在计费生产系统上遇到一个很头疼的问题——Hikaricp连接池获取不到连接数而连接不到数据库,导致请求失败。每10笔交易会出现2笔,具体异常如下:

Caused by: java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 932347ms.

at com.zaxxer.hikari.pool.HikariPool.createTimeoutException(HikariPool.java:555) ~[HikariCP-2.4.7.jar:?]

at com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:188) ~[HikariCP-2.4.7.jar:?]

at com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:147) ~[HikariCP-2.4.7.jar:?]

at com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:99) ~[HikariCP-2.4.7.jar:?]

at org.springframework.jdbc.datasource.DataSourceUtils.doGetConnection(DataSourceUtils.java:111) ~[spring-jdbc-4.3.5.RELEASE.jar:4.3.5.RELEASE]

at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:77) ~[spring-jdbc-4.3.5.RELEASE.jar:4.3.5.RELEASE]

at org.mybatis.spring.transaction.SpringManagedTransaction.openConnection(SpringManagedTransaction.java:82) ~[mybatis-spring-1.2.3.jar:1.2.3]

at org.mybatis.spring.transaction.SpringManagedTransaction.getConnection(SpringManagedTransaction.java:68) ~[mybatis-spring-1.2.3.jar:1.2.3]

at org.apache.ibatis.executor.BaseExecutor.getConnection(BaseExecutor.java:315) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.executor.SimpleExecutor.prepareStatement(SimpleExecutor.java:75) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.executor.SimpleExecutor.doQuery(SimpleExecutor.java:61) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.executor.BaseExecutor.queryFromDatabase(BaseExecutor.java:303) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.executor.BaseExecutor.query(BaseExecutor.java:154) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.executor.CachingExecutor.query(CachingExecutor.java:102) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.executor.CachingExecutor.query(CachingExecutor.java:82) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:120) ~[mybatis-3.3.0.jar:3.3.0]

at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:113) ~[mybatis-3.3.0.jar:3.3.0]

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.7.0_79]

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) ~[?:1.7.0_79]

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.7.0_79]

at java.lang.reflect.Method.invoke(Method.java:606) ~[?:1.7.0_79]

at org.mybatis.spring.SqlSessionTemplate$SqlSessionInterceptor.invoke(SqlSessionTemplate.java:386) ~[mybatis-spring-1.2.3.jar:1.2.3]

... 26 more

问题分析:

1、异常抛出时间每次都是在15分30秒左右,但该系统的并行环境并没有此异常,生产环境的差异只是数据库部署在不同的主机上;

2、访问数据库命令的网络耗时正常,数据库端收到连接请求,且该时段数据库连接数并没有耗尽;

3、数据库管理员在异常时间段查询得知,不存在慢sql语句,不存在不合理设置索引导致此异常。

继续分析,只能从Hikaricp的配置着手:以下是出异常的数据源配置 

自此附上hikarecp各个配置的中文解释:hikariCP连接池配置

<bean id="dataSourcePubdba" class="com.zaxxer.hikari.HikariDataSource">

     <property name="driverClassName" value="${datasource.driver}">

     <property name="jdbcUrl" value="${datasource.jdbcUrl}">

     <property name="username" value="${datasource.user}">

     <property name="password" value="${datasource.pass.encrypt}">

     <property name="connectionTimeout" value="30000" />

    <property name="idleTimeout" value="60000" />

     <property name="maxLifetime" value="1800000" />

     <property name="maximumPoolSize" value="65" />

</bean>

后四个重要参数的解释:

    1)connectionTimeout:等待连接池分配连接的最大时长(毫秒),超过这个时长还没可用的连接则发生SQLException, 缺省:30秒 

    2)idleTimeout:此属性控制允许连接在池中闲置的最长时间,此设置仅适用于minimumIdle设置为小于maximumPoolSize的情况 默认:600000(10minutes)

   2)maxLifetime:一个连接的生命时长(毫秒),超时而且没被使用则被释放(retired),缺省:30分钟,建议设置比数据库超时时长少30秒

3)maximumPoolSize:连接池中允许的最大连接数(包括空闲和正在使用的连接)。缺省值:10;

综合以上分析:connectionTimeout采用默认值30s,应该不会有太大问题。maximumPoolSize根据业务量的设置,不会有太大问题。maxLifetime如果过长,且idleTimeout没有时间限制时,会导致连接数很大,空闲连接一直得不到释放,严重挤占资源,容易引起连接数不够的问题。特别是maxLifetime如果大于数据库超时时长,就会抛出数据库连接异常,这也是本次生产问题所在:maxLifetime设置成30分钟,超过了数据库连接时长15分钟,connectionTimeout为30秒,所以每次异常都是在15分30秒抛出,数据库端已经收到Hikaricp连接请求,但是因网络问题等因素,到达超时时长而没有获取到连接。idleTimeout只有在minimumIdle设置为小于maximumPoolSize的情况下才生效,而我没有设置最小空闲连接数minimumIdle的值,minimumIdle默认是等于maximumPoolSize,此时idleTimeout不受限,空闲连接一直没有得到回收,出于系统优化以及并发稳定性考虑,应该增加此配置。

优化后的配置:

<bean id="dataSourceTxndba" class="com.zaxxer.hikari.HikariDataSource" destroy-method="close" >//对象销毁前调用了close函数,这是必须的,否则对象离开后,数据库资源还可用

       <property name="driverClassName" value="${datasource.driver}"></property>

       <property name="jdbcUrl" value="${datasource.jdbcUrl2}"></property>

       <property name="username" value="${datasource.user2}"></property>

       <property name="password" value="${datasource.pass2.encrypt}"></property>

       <property name="connectionTimeout" value="30000" />

       <property name="idleTimeout" value="60000" />

       <property name="maxLifetime" value="600000" />

       <property name="minimumIdle" value="10" />

       <property name="maximumPoolSize" value="65" />

       <property name="poolName" value="TxnDatabasePool" />

       <property name="leakDetectionThreshold" value="5000"/>

</bean>

相比较之前的配置,优化点如下:

 1、增加数据连接关闭方法,当从dataSource获取的连接使用完成后,调用close方法,以避免数据源对象任然可用,造成连接泄露

 2、增加最小空闲连接数minimumIdle,根据业务场景,设置为10,小于maximumPoolSize值

3、连接空闲时间idleTimeout生效,根据业务请求重发频率为40多秒,值可设为1分钟,减少空闲连接占用,尽快释放数据库连接

4、连接生命周期maxLifetime值设为10分钟,低于数据库超时时长,尽快释放数据库无效连接

5、增加连接池的用户定义名称

6、开启连接监测泄露leakDetectionThreshold方法,此属性控制在记录消息之前连接可能离开池的时间量,表明可能的连接泄漏。值代表连接被占用的泄露时间最低可接受值为5秒,不过此值的设定需要根据场景多次调试,如果真实泄露时间小幅度超过5秒,会引起warning,但不一定会导出数据不能入库,因为该方法只是检查,只有到达idleTimeout ,才会强制执行关闭连接。

运行结果:

 使用该配置,目前系统暂未发生数据库连接异常现象,后续还会继续跟踪,以期获得最优配置。

SpringBoot启动时HikariCP不创建连接池问题解决方案 我们直接进入主题。 通常情况下,我们SpringBoot项目启动完成时,HikariCP都会创建连接池。 我们在控制台的日志中就能直接看到这个信息: com.zaxxer.hikari.HikariDataSource : HikariPool-1 - Starting... com.zaxxer.hikari.HikariDataSource : HikariPool-1... 阅读详情

相关推荐

数据库连接池优化 HikariCP

我在研究HikariCP(一个数据库连接池)时无意间在HikariCP的Github wiki上看到了一篇文章(即前面给出的链接),这篇文章有力地消除了我一直以来的疑虑,看完之后感觉神清气爽。故在此做译文分享。 接下来是正文 数据库连接池的配置是开发者们常常搞出坑的地方,在配置数据库连接池时,有几个可以说是和直觉背道而驰的原则需要明确。 1万并发用户访问 想象你有一个网站,压力虽然还没到Facebook那个级别,但也有个1万上下的并发访问——也就是说差不多2万左右的TPS。那么这个网站的数据库连接池

3985

[前车之鉴] SpringBoot原生使用Hikari数据连接池升级到动态多数据源的深坑解决方案 & RocketMQ吞掉异常问题排查

话说回来,这个错误算比较低级了,因为引入了dynamic-datasource 数据源但是却没有配置好数据源,而默认引入依赖就会在业务的sql操作中使用改配置数据源连接池【当时回滚代码逻辑是不清晰的,只回滚配置注释代码是不够的,要么基于老分支直接重写逻辑本地验证后再试,要么所有新代码一起移除,包括mave依赖】这里就可以解释,线上是并发比较高的,所以很快把10个连接占满,甚至已经抛出了连接不可用的异常由于被RocketMQ捕获,所以很难发现,于是修正了属性值再次Debug正常设置成功。

浮-沉 3003

JAVA:Springboot 集成 Hikari 和 Druid 的技术指南

本文介绍了Java数据库连接(JDBC)及其两种主流连接池Hikari和Druid。JDBC提供访问数据库的API,包括DriverManager、Connection等核心组件。Hikari是Spring Boot默认连接池,优势在于性能优化,如精简字节码、自定义集合类型等。Druid由阿里巴巴开源,集成了监控、SQL防注入等功能,适合复杂场景。性能测试显示Hikari优于Druid,但Druid在监控和扩展性上更全面。选择建议:追求性能选Hikari,需要监控功能选Druid。

木头 5040

Hikaricp数据库连接池问题

如题,最近正从c3p0更换到hikari,配置文件搞来搞去都有问题,先是过一会儿就会失去链接,无法获取数据。经修改之后,过一会儿在刷新页面回去数据,就会很慢才会返回connection,拉取到数据;如下配置文件: jdbcUrl = jdbc:mysql://xx.xx.xx.xx:3306/dbname?useUnicode=true&useSSL=true&autoRecon...

IOS & Android & C# 1069

springboot集成JPA并配置hikariCP连接池问题解决

jdbcUrl :属性标识HikariCP使用的是传统的、基于驱动管理器DriverManager的配置。将此属性于“旧”驱动程序一起使用时,可能还需要设置driverClassName属性,所以建议尽量不使用该属性。如果必须使用此属性,则用户应使用DataSource属性来配置驱动程序,笔者建议使用URL本身指定的驱动程序参数。MySQL 5.5.45+、5.6.26+和5.7.6+的要求,如果没有设置显式选项,则默认情况下必须建立SSL连接。

DN金猿的博客 705

Western blot (WB) 灰度分析进阶指南:ImageJ 高效定量技巧与实战优化

本文详细介绍了使用ImageJ进行Western blot灰度分析的进阶技巧,包括批量处理、背景校正和疑难条带处理等实战优化方法。通过自动化宏脚本和动态背景校正,显著提升分析效率和准确性,特别适合科研人员处理复杂WB数据。

weixin_42557830的博客 906

记一次用SpringBoot默认连接池HikariCP拿不到连接问题

记一次用SpringBoot默认连接池HikariCP拿不到连接问题 1、问题发现 最近项目总接到反馈有用户登录不上系统情况,通过查看日志,并验证多次访问都是正常。 2、排查问题 安装pinpoint监控后,通过pinpoint监控发现确实会存在获取连接超时情况,如下图 查看最近访问情况,发现存在大量超时情况,如下图 3、定位问题 下图是原本HikariCP数据库连接池配置,发现都没有设置数据库连接池参数。 4、解决问题 后通过调整连接池参数,跟踪监控,问题得以解决,下图是调整后的连接池配置 监控应用

qq837993702的博客 4735

FPGA以太网通信实战(一):实现MDIO接口驱动,掌控PHY芯片的钥匙

本文介绍了以太网通信技术及其核心组件。首先概述了以太网的发展历程,从标准以太网(10Mbps)到万兆以太网(10Gbps)的技术演进。重点分析了以太网接口的两大核心部件:MAC控制器负责数据链路层协议处理,PHY芯片负责物理信号转换和连接管理。文章详细解读了MDIO接口规范,包括帧格式和读写时序,并以YT8531 PHY芯片为例,介绍了其寄存器配置方法。最后设计了一个FPGA实现方案,通过MDIO接口完成PHY芯片的软复位和状态监测功能,并利用LED指示灯实时显示网络连接速率。

weixin_64402689的博客 1663

【连接池】什么是HikariCP?HikariCP 解决了哪些问题?为什么要使用 HikariCP?

数据库连接池负责分配、管理和释放数据库的连接。数据库连接复用:重复使用现有的数据库长连接,可以避免连接频繁建立、关闭的开销。统一的连接管理:释放空闲时间超过最大空闲时间的数据库连接,避免因为没有释放数据库连接而引起的数据库连接泄漏。HikariCP 是一个高性能的 JDBC 连接池组件,号称性能最好的后起之秀,是一个基于BoneCP做了不少的改进和优化的高性能JDBC连接池。其作者还有产出了另外一个开源作品HikariJSON——高性能的JSON解析器。代码体积更是少的可怜,130kb。

DreamSun的博客 1030

基于51单片机的多功能智能路灯控制系统(仿真+代码+原理图)

智能路灯控制系统主要由51单片机最小系统+1602显示模块+DS1302时钟模块+光强检测模块+按键输入模块+声光报警模块+LED照明模块+状态检测电路+人体车辆红外检测模块组成。能实现以下功能: 1.能够按键设定系统时间、工作时间、光照阈值 2.工作时间内路灯点亮,凌晨12点后路灯关闭,有人或车通过是,路灯点亮10s 3.非工作时间光照强度低于阈值,路灯点亮 4.能够检测系统工作状态,路灯应亮未亮,声光报警 5.具备手动控制,能够切换自动/手动控制功能

u012759563的博客 8185

44位abogus补环境与纯算逆向分析

44位ab参数补环境与纯算加密流程逆向分析

吴秋霖的博客 2800

如何定位 Druid & HikariCP 连接池的连接泄漏问题?

在数据库连接池的使用中,连接泄漏是一个常见且严重的问题。本文通过分析一个实际的案例,探讨了连接泄漏的危害、产生原因以及如何在 Druid 和 HikariCP 这两种常见的连接池中定位和解决连接泄漏问题。

ivictor521的博客 1417

拆开它的“身体”,看懂割草机器人的五层系统架构

这篇文章深入解析了智能割草机器人的五层系统架构。机械层采用铝合金一体式车架和独立悬挂刀盘系统;电子层配备双处理器和多种传感器;固件层实现毫秒级安全响应;算法层融合多种定位技术实现厘米级精度;云服务层提供远程管理和AI优化。这套系统通过精密协同实现了智能割草的全流程闭环,展现了从机械结构到云端智能的完整技术栈,为户外智能设备设立了新的技术标杆。

智能硬件研发,欢迎交流 203

解决HikariCP连接池提示TDengine ERROR (8000000b)问题

HikariCP连接池结合TDengine使用,科学设置HikariCP的max-lifetime配置项

知易行难 2243

【问题解决】解决 Python `PermissionError` 权限不足:文件/进程/端口全场景修复

本文总结了Python程序中常见的权限问题及解决方案,包括文件、进程和端口权限错误。文件权限问题通常由文件占用、权限不足或路径错误引起;进程问题多因权限不足或系统限制;端口问题则与端口占用、防火墙或特权端口相关。解决方案提供了详细的代码实现:文件权限管理器类(FilePermissionManager)包含检查权限(check_permission)、修复权限(fix_permission)、安全写入(safe_write)和安全删除(safe_delete)等方法,通过异常处理和临时文件等技术确保操作安全

博客 360

Python爬虫实战:携程/飞猪酒店信息爬取与动态价格分析

在当今数字化旅游时代,酒店预订平台的复杂筛选条件和动态定价机制为数据分析和价格监控带来了巨大挑战。本文将深入探讨如何使用最新的Python爬虫技术来抓取携程和飞猪平台的酒店信息,处理复杂的筛选条件,并解析动态价格数据。本文详细介绍了如何使用最新的Python爬虫技术来抓取携程和飞猪平台的酒店信息。通过结合httpxplaywrightparsel强大的反反爬虫能力:通过浏览器指纹伪装、请求签名、智能延迟等技术应对各种反爬措施高效的数据解析:使用CSS选择器和XPath精确提取所需信息灵活的数据存储。

2201_76125261的博客 415
上一篇: Springboot异步任务执行及监控
下一篇: nohup 详解
王树民
博客等级 码龄10年 912粉丝 560原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值