【追光者系列】HikariCP 连接池配多大合适(第一弹)?

HikariCP 连接池的最佳实践 遵循这些实践,可以帮助你充分发挥 HikariCP 的优势,构建高性能、高可用的数据库访问层。没有绝对通用的“最佳”配置,最终的调优需要结合你的具体应用场景和监控数据来进行。 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 
  • 经验值&FlexyPool

  • Less Is More

    • 公式:connections =((core_count * 2)+ effective_spindle_count)

    • 公理:You want a small pool, saturated with threads waiting for connections.

  • Pool-locking 池锁

  • 具体问题具体分析

  • 参考资料


首先声明一下观点:How big should HikariCP be? Not how big but rather how small!连接池的大小不是设置多大,不是越多越好,而是应该少到恰到好处。
本文提及的是客户端的线程池大小,数据库服务器另有不同的估算方法。

  • 1. 经验值&FlexyPool

  • 2. Less Is More

    • 2.1 公式:connections =((core_count * 2)+ effective_spindle_count)

    • 2.2 公理:You want a small pool, saturated with threads waiting for connections.

  • 3. Pool-locking 池锁

  • 4. 具体问题具体分析

经验值&FlexyPool

我所在公司260多个应用的线上连接池默认经验值是如下配置的:

maximumPoolSize: 20
minimumIdle: 10

而Hikari的默认值是maximumPoolSize为10,而minimumIdle强烈建议不要配置、默认值与maximumPoolSize相同。我公司maximumPoolSize基本上这个值将决定到数据库后端的最大实际连接数,对此的合理价值最好由实际的执行环境决定;我公司保留minimumIdle的值(并不是不设置)是为了防止空闲很久时创建连接耗时较长从而影响RT。
不过我还是比较倾向作者的观点,尽量不要minimumIdle,允许HikariCP充当固定大小的连接池,毕竟我相信追求极致的Hikari一定可以尽最大努力快速高效地添加其他连接,从而获得最佳性能和响应尖峰需求

minimumIdle
This property controls the minimum number of idle connections that HikariCP tries to maintain in the pool. If the idle connections dip below this value and total connections in the pool are less than maximumPoolSize, HikariCP will make a best effort to add additional connections quickly and efficiently. However, for maximum performance and responsiveness to spike demands, we recommend not setting this value and instead allowing HikariCP to act as a fixed size connection pool. Default: same as maximumPoolSize

maximumPoolSize
This property controls the maximum size that the pool is allowed to reach, including both idle and in-use connections. Basically this value will determine the maximum number of actual connections to the database backend. A reasonable value for this is best determined by your execution environment. When the pool reaches this size, and no idle connections are available, calls to getConnection() will block for up to connectionTimeout milliseconds before timing out. Please read about pool sizing. Default: 10

HikariCP的初始版本只支持固定大小的池。作者初衷是,HikariCP是专门为具有相当恒定负载的系统而设计的,并且在倾向连接池大小于保持其运行时允许达到的最大大小,所以作者认为没有必要将代码复杂化以支持动态调整大小。毕竟你的系统会闲置很久么?另外作者认为配置项越多,用户配置池的难度就越大。但是呢,确实有一些用户需要动态调整连接池大小,并且没有就不行,所以作者就增加了这个功能。但是原则上,作者并不希望缺乏动态的大小支持会剥夺用户享受HikariCP的可靠性和正确性的好处。

如果想要支持动态调整不同负载的最佳池大小设置,可以配合Hikari使用同为the Mutual Admiration Society成员的Vlad Mihalcea研究的FlexyPool。当然,连接池上限受到数据库最优并发查询容量的限制,这正是Hikari关于池大小的起作用的地方。然而,在池的最小值和最大值之间,FlexyPool不断尝试递增,确保该池大小在服务提供服务的过程中动态负载是一直正确的。

FlexyPool是一种reactive的连接池。其作者认为确定连接池大小不是前期设计决策的,在大型企业系统中,需要适应性和监控是做出正确决策的第一步。

FlexyPool具有以下默认策略

  • 在超时时递增池。此策略将增加连接获取超时时的目标连接池最大大小。连接池具有最小的大小,并可根据需要增长到最大大小。该溢出是多余的连接,让连接池增长超过其初始的缓冲区最大尺寸。每当检测到连接获取超时时,如果池未增长到其最大溢出大小,则当前请求将不会失败。

  • 重试尝试。此策略对于那些缺少连接获取重试机制的连接池非常有用。

由于本文主要谈Hikari,所以FlexyPool请各位读者自行阅读
https://github.com/vladmihalcea/flexy-pool
https://vladmihalcea.com/
http://www.importnew.com/12342.html

Less Is More

众所周知,一个CPU核心的计算机可以同时执行数十或数百个线程,其实这只是操作系统的一个把戏-time-slicing(时间切片)。实际上,该单核只能一次执行一个线程,然后操作系统切换上下文,并且该内核为另一个线程执行代码,依此类推。这是一个基本的计算法则,给定一个CPU资源,按顺序执行A和B 总是比通过时间片“同时” 执行A和B要快。一旦线程数量超过了CPU核心的数量,添加更多的线程就会变慢,而不是更快。
某用户做过测试(见参考资料),得到结论1个线程写10个记录比10个线程各写1个记录快。使用jvisualvm监控程序运行时,也可以看出来thread等待切换非常多。设计多线程是为了尽可能利用CPU空闲等待时间(等IO,等交互…),它的代价就是要增加部分CPU时间来实现线程切换。假如CPU空闲等待时间已经比线程切换更短,(线程越多,切换消耗越大)那么线程切换会非常影响性能,成为系统瓶颈。

其实还有一些因素共同作用,数据库的主要瓶颈是CPU,磁盘,网络(内存还不算最主要的)。

公式:connections =((core_count * 2)+ effective_spindle_count)

effective_spindle_count is the number of disks in a RAID.就是磁盘列阵中的硬盘数,hard disk.某PostgreSQL项目做过测试,一个硬盘的小型4核i7服务器连接池大小设置为: 9 = ((4 * 2) + 1)。这样的连接池大小居然可以轻松处理3000个前端用户在6000 TPS下运行简单查询。

我们公司线上机器标准是2核,有需求可以申请4核、8核,16核一般不开。虚拟机一般都是线程,宿主机一般是2个逻辑CPU。虚拟机默认就一块硬盘,物理机有十几块。

公理:You want a small pool, saturated with threads waiting for connections.

在公式的配置上,如果加大压力,TPS会下降,RT会上升,你可以适当根据情况进行调整加大。这时考虑整体系统性能,考虑线程执行需要的等待时间,设计合理的线程数目。但是,不要过度配置你的数据库。

Pool-locking 池锁

增大连接池大小可以缓解池锁问题,但是扩大池之前是可以先检查一下应用层面能够调优,不要直接调整连接池大小。
避免池锁是有一个公式的:

pool size = Tn x (Cm - 1) + 1

T n是线程的最大数量,C m是单个线程持有的同时连接的最大数量。
例如,设想三个线程(T n = 3),每个线程需要四个连接来执行某个任务(C m = 4)。确保永不死锁的池大小是: 3 x(4 - 1)+ 1 = 10。
另一个例子,你最多有8个线程(T n = 8),每个线程需要三个连接来执行一些任务(C m = 3)。确保死锁永远不可能的池大小是: 8×(3-1)+ 1 = 17

  • 这不一定是最佳池大小,但是是避免死锁所需的最低限度。

  • 在某些环境中,使用JTA(Java事务管理器)可以显着减少从同一个Connection返回getConnection()到当前事务中已经存储Connection的线程所需的连接数。

具体问题具体分析

混合了长时间运行事务和非常短的事务的系统通常是最难调整任何连接池的系统。在这些情况下,创建两个池实例可以很好地工作(例如,一个用于长时间运行的作业,另一个用于“实时”查询)。
如果长期运行的外部系统,例如只允许一定数量的作业同时运行的作业执行队列,这是作业队列大小就是连接池非常合适的大小。

最后,我要说的是:

连接池大家是综合每个应用系统的业务逻辑特性,加上应用硬件配置,加上应用部署数量,再加上db硬件配置和最大允许连接数测试出来的。很难有一个简单公式进行计算。连接数及超时时间设置不正确经常会带来较大的性能问题,并影响整个服务能力的稳定性。具体设置多少,要看系统的访问量,可通过反复测试,找到最佳点。压测很重要。

参考资料

https://github.com/brettwooldridge/HikariCP/wiki/About-Pool-Sizing
https://blog.youkuaiyun.com/cloud_ll/article/details/29212003

666. 彩蛋

如果你对 HikariCP 并发感兴趣,欢迎加入我的知识星球一起交流。



知识星球

目前在知识星球(https://t.zsxq.com/2VbiaEu)更新了如下 Dubbo 源码解析如下:

01. 调试环境搭建
02. 项目结构一览
03. API 配置(一)之应用
04. API 配置(二)之服务提供者
05. API 配置(三)之服务消费者
06. 属性配置
07. XML 配置
08. 核心流程一览

09. 拓展机制 SPI

10. 线程池

...
一共 60 篇++

别只会调大maximum-pool-size!HikariCP连接池配置的5个避坑指南与最佳实践 本文深入探讨HikariCP连接池的优化配置,解析常见错误如'Connection is not available, request timed out after 30000ms'的根源。从参数动态平衡、容量规划、连接泄漏检测到网络韧性设计,提供5个关键避坑指南与最佳实践,帮助开发者避免盲目调大maximum-pool-size,实现数据库连接的高效管理。 阅读详情

相关推荐

高性能 数据库连接池 HikariCP | 连接池大小配置误区

介绍数据库连接池大小配置误区,很多人都配置错啦。

甘蓝的专栏 940

【追光者系列】Hikari连接池大小多大合适?(第一弹)

摘要: 原创出处微信公众号 「工匠小猪猪的技术世界」欢迎转载,保留摘要,谢谢! 1.这是一个系列,有兴趣的朋友可以持续关注 2.如果你有HikariCP使用上的问题,可以给我留言,我们一起沟通讨论 3.希望大家可以提供我一些案例,我也希望可以支持你们做一些调优 首先声明一下观点:How big should HikariCP be? Not how big but rather how sm...

weixin_33920401的博客 2163

AutoDL跑yolo

由于博主在AutoDL的JupyterLab的终端直接上传ZIp文件要么老是再上传中被中断,要么就是上传后使用unzip指令解压显示“找不到”,作为纯小白的我实在太难了!这个文件列出了一个 Python 项目所需的所有依赖包及其精确的版本号。这个文件是 Python 项目中常见的一种方式,用于确保项目在不同环境中都能以相同的依赖包配置运行。3.进入JupyterLab,在文件夹目录中找到上传的文件夹,右键点击“复制路径”。然后在终端中输入以下指令进行切换到该文件夹路径。9.安装成功后开始输入指令开跑!

m0_73804659的博客 1206

Hikari连接池 最大连接数与最小空闲连接数配置多少合适?

不过我还是比较倾向作者的观点,尽量不要minimumIdle,允许HikariCP充当固定大小的连接池,毕竟我相信追求极致的Hikari一定可以尽最大努力快速高效地添加其他连接,从而获得最佳性能和响应尖峰需求。而且作者的意思很明确,设置固定大小的连接数量肯定是没什么问题的,因为毕竟我们的系统也不太会出现长时间闲置的情况,也就是长时间系统0访问,哪怕是凌晨网站也会有用户的请求。比如你服务器是4核,最大连接数可以设置为10,如果是8核,可以设置为20。

qq_38196449的博客 4061

昇腾910安装驱动出错,降低Centos7.6的内核版本

Centos7.6 启动内核修改,解决昇腾910安装驱动错误的问题。

深蓝 3302

保姆级教程:用Dify+DeepSeek API打造你的私人股票分析助手(附完整配置流程)

本文提供了一份详细的教程,指导用户如何利用Dify低代码平台和DeepSeek API构建一个私人股票分析助手。内容涵盖从环境准备、Dify部署、DeepSeek模型配置,到设计智能体工作流和编写高效提示词的完整流程,旨在帮助投资者和开发者快速打造专属的AI投资分析工具。

weixin_29079671的博客 640

【追光者系列】Springboot 2.0选择HikariCP作为默认数据库连接池的理由

摘要: 本文非原创,是笔者搜集了一些HikariCP相关的资料整理给大家的介绍,主要讲解了为什么sb2选择了hikariCP以及HikariCP为什么这么快。 1.这是一个系列,有兴趣的朋友可以持续关注 2.如果你有HikariCP使用上的问题,可以给我留言,我们一起沟通讨论 3.希望大家可以提供我一些案例,我也希望可以支持你们做一些调优

weixin_34205826的博客 6880

LightGBM学习笔记

LightGB学习笔记1. lightgbm概述1.1 lightgbm介绍1.2 lightgbm和xgboost对比2 .直方图算法及改进2.1 直方图算法2.2 直方图算法改进2.2.1 GOSS算法3.树的生长策略4.系统设计5. 实战 lightgbm是基于boosting的学习框架,使用的是基于决策树的学习算法,具有更快的训练速度、更低的内存使用、更高的正确率、并且能够支持并行化学习,可以用来处理大规模数据,本文主要是针对学习视频https://www.bilibili.com/video/BV

一一xi的博客 3308

数据库连接池(一):HikariCP 源码解析

《【追光者系列】HikariCP 连接池监控指标实战》 《【追光者系列】Can you Read Aloud The Word Hikari Properly?》 《【追光者系列】HikariCP 默认配置》 《【追光者系列】HikariCP 连接池配多大合适(第一弹)?》 《【追光者系列】HikariCP 源码分析之 allowPoolSuspension》 《【追光者系列】Hikar...

scofen的博客 1318

[PCIe5.0] 2.2.7.1 TPH Rules

TPH 机制通过硬件提示优化数据流,适用于高性能计算和存储场景。

系统固件工程师 350

CAPL通过SecMgrCANoeClient.dll实现AES 128

需要加载SecMgrCANoeClient.dll这个动态库,可以在canoe安装路径下Exec32这个文件夹里找。这个库不是哪版canoe都带,canoe15就没有,11,14是有的。我需要用到的是AES 128 ECB nopadding,这里函数介绍说是padding mode PKCS5,但是最后算出的结果是我可以使用的。CAPL中可以使用下列函数实现AES 128的算法。需要注意输入输出字节的长度。

天赐好车的博客 4935

【追光者系列】Hikari连接池大小多大合适?(第二弹)

摘要: 原创出处微信公众号 「工匠小猪猪的技术世界」欢迎转载,保留摘要,谢谢! 1.这是一个系列,有兴趣的朋友可以持续关注 2.如果你有HikariCP使用上的问题,可以给我留言,我们一起沟通讨论 3.希望大家可以提供我一些案例,我也希望可以支持你们做一些调优 首先推荐大家可以关注公众号看一下第一弹 【追光者系列】Hikari连接池大小多大合适? 1. fixed pool design ...

weixin_34092455的博客 1256

vue支付项目-APP支付宝支付功能

如果用户已安装支付宝客户端,商家 App 唤起支付宝完成支付,支付完后跳回到商家 App 内,最后展示支付结果。如果用户没有安装支付宝客户端,商家 App 内会调起支付宝网页支付收银台,用户登录支付宝账号,支付完后展示支付结果。1.点击按钮开通或者续费,会验证是否选择会员商品以及对协议是否查看选中(这里根据项目需要自行验证,可忽略),验证通过打开选择支付方式弹窗页面,选择微信支付或者支付宝支付;4.可取消支付,放弃支付会返回会员页面,页面提示支付取消;1.判断支付方式,如果是2,则是支付宝支付方式。

总结前端开发中遇到的问题,分享前端知识 1万+

【追光者系列】HikariCP连接池监控指标实战

1.这是一个系列,有兴趣的朋友可以持续关注2.如果你有HikariCP使用上的问题,可以给我留言,我们一起沟通讨论3.希望大家可以提供我一些案例,我也希望可以支持你们做一些调优业务方关注哪些数据库指标?首先分享一下自己之前的一段笔记(找不到引用出处了)系统中多少个线程在进行与数据库有关的工作?其中,而多少个线程正在执行 SQL 语句?这可以让我们评估数据库是不是系统瓶颈。多少个线程在等待获取数据库

芋道源码 1万+

2026年高教社杯数学建模国赛A题解题思路:从物理方程推导到MATLAB高效求解的全流程实战指南

□所有代码能够从头运行到尾,不报错(清除workspace重新跑一遍)□论文中的每个图号、表号、公式编号与正文引用一致□附录中附上核心代码(注意:不是全部代码,而是关键求解器和后处理部分)□支撑材料压缩包包含完整代码、数据文件、README说明□摘要字数严格控制在1000字以内,突出创新点和核心结果□。

YOLO 113

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Spring Boot 数据库连接池 HikariCP

简介 HikariCP 来源于日语,「光」的意思,意味着它很快!可靠的数据源,spring boot2.0 已经将 HikariCP 做为了默认的数据源链接池。 官网详细地说明了HikariCP所做的一些优化,总结如下: 字节码精简 :优化代码,直到编译后的字节码最少,这样,CPU缓存可以加载更多的程序代码; 优化代理和拦截器:减少代码,例如 HikariCP 的 Statement proxy...

weixin_33840661的博客 752

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

【追光者系列】HikariCP默认配置

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 中文详细注释的开源项目Java 并发源码合集RocketMQ 源码合集Sharding-JDB...

芋道源码 2171

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

【追光者系列】HikariCP 源码分析之 evict、时钟回拨、连接创建生命周期

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码专栏( 已经完成 69+ 篇,预计总共 75+ 篇 )中文详细注释...

芋道源码 1877

java中时钟回拨,【追光者系列】HikariCP源码分析之evict、时钟回拨、连接创建生命周期...

摘自【工匠小猪猪的技术世界】 1.这是一个系列,有兴趣的朋友可以持续关注 2.如果你有HikariCP使用上的问题,可以给我留言,我们一起沟通讨论 3.希望大家可以提供我一些案例,我也希望可以支持你们做一些调优概念evict定义在com.zaxxer.hikari.pool.PoolEntry中,evict的汉语意思是驱逐、逐出,用来标记连接池中的连接不可用。getConnection在每次get...

weixin_39862899的博客 587

【追光者系列】HikariCP 源码分析之 allowPoolSuspension

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码专栏( 已经完成 69+ 篇,预计总共 75+ 篇 )中文详细注释...

芋道源码 1094

【追光者系列】HikariCP源码分析之FastList

摘要: 原创出处 微信公众号「工匠小猪猪的技术世界」欢迎转载,保留摘要,谢谢! 1.这是一个系列,有兴趣的朋友可以持续关注 2.如果你有HikariCP使用上的问题,可以给我留言,我们一起沟通讨论 3.希望大家可以提供我一些案例,我也希望可以支持你们做一些调优

weixin_34304013的博客 682

【追光者系列】主流Java数据库连接池比较及前瞻

摘要: 原创出处 微信公众号「工匠小猪猪的技术世界」欢迎转载,保留摘要,谢谢! 1.这是一个系列,有兴趣的朋友可以持续关注 2.如果你有HikariCP使用上的问题,可以给我留言,我们一起沟通讨论 3.希望大家可以提供我一些案例,我也希望可以支持你们做一些调优

weixin_34006965的博客 1224
上一篇: 【RPC 专栏】Motan 中使用异步 RPC 接口
下一篇: 分布式追踪 & APM 系统 SkyWalking 源码分析 —— Collector Streaming Computing 流式处理(二)
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值