java.sql.SQLTimeoutException: Statement timeout occurred

原创于 2025-10-16 12:06:42 发布 · 282 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

# HikariCP #MySQL执行超时 #SQLTimeoutException #索引缺失 #30000ms #hashSharding

Bug记录专栏收录该内容

329 篇文章

订阅专栏

💡 亲爱的技术伙伴们：

你是否正在为这些问题焦虑——

✅ 简历投出去杳无音信，明明技术不差却总卡在面试？

✅ 每次终面都紧张不已，不知道面试官到底想要什么答案？

✅ 技术知识点零零散散，遇到系统设计题就头脑一片空白？

🎯 《Java高级开发岗面试急救包》—— 专为突破面试瓶颈而生

这不是普通的面试题汇总，而是凝聚多年面试官经验的实战赋能体系。我不仅告诉你答案，更帮你建立面试官的思维模式。

🔗 课程链接：https://edu.youkuaiyun.com/course/detail/40731

🎯 精准人群定位

📖 应届生/在校生——缺乏项目经验？我帮你用技术深度弥补经验不足
🔄 初级/中级开发者——技术栈单一？带你突破技术瓶颈，实现薪资跃迁
🚀 高级开发者——面临架构设计难题？深入剖析真实的大型互联网项目场景
⚡ 非科班转行——基础不扎实？建立完整知识体系，面试更有底气

🔥 《Java高级开发岗面试急救包》（完整技术体系）

🚀 高并发深度实战

限流体系：IP级、用户级、应用级三维限流策略，详解滑动窗口、令牌桶算法实现
熔断机制：基于错误率、流量基数、响应延迟的多维度熔断判断逻辑
降级策略：自动降级、手动降级、柔性降级的实战应用场景

⚡ 高性能架构全解析

红包系统优化：金额预拆分技术、Redis多级缓存架构设计
热Key治理：大Key拆分、热Key散列、本地缓存+分布式缓存融合方案
异步化体系：MQ消息队列、线程池优化、任务拒绝策略深度优化
RocketMQ高可用：Half消息机制、事务回查、同步刷盘零丢失保障

🌊 海量数据处理实战

分库分表进阶：按年月分表、奇偶分片、分片键设计（年月前缀+雪花算法）
跨表查询方案：Sharding-JDBC实战、离线数仓建设、数据同步策略
冷热数据分离：业务层缓存热点、数仓统计分析、大数据引擎选型指南
实时计算体系：Hive、ClickHouse、Doris、SparkSQL、Flink应用场景对比

🛠️ 服务器深度调优

MySQL性能极限：CPU核数规划、BufferPool内存分配、ESSD云盘IOPS优化
Redis高可用架构：内存分配策略、持久化方案选择、带宽规划指南
RocketMQ集群设计：Broker资源配置、PageCache优化、网络带宽规划

🔒 系统安全全链路

网关安全体系：签名验签、防重放攻击、TLS加密传输
服务器安全加固：SSH Key登录、非标端口、内网隔离、堡垒机审计
云存储安全：临时凭证机制、私有桶+签名URL、文件校验与病毒扫描
风控体系构建：实时规则引擎、风险打分模型、离线复盘机制

🔄 数据一致性终极方案

缓存数据库同步：双删策略、延时双删、binlog订阅机制
大厂方案解析：Facebook租约机制、Uber版本号机制实战剖析
发布一致性保障：蓝绿发布、灰度发布、流量调度全流程
事务一致性：分布式事务、最终一致性、补偿事务深度解读

👥 项目与团队管理进阶

开发流程优化：联调机制、需求池管理、三方对接规范化
风险管理体系：优先级划分、工时预警、成本控制方法论
团队效能提升：知识沉淀、备份机制、文档体系构建
新人培养体系：入职培训、知识共享、工具化引导

🏗️ 系统稳定性建设

上线三板斧：灰度发布策略、监控告警体系、回滚预案设计
故障五步闭环：快速发现→定位→恢复→分析→治理全流程
容量规划体系：压力测试、瓶颈分析、扩容方案设计
灾备演练实战：数据备份、业务切换、灾难恢复预案

🚀 立即行动，改变从现在开始！

🔗 课程链接：https://edu.youkuaiyun.com/course/detail/40731

不要再让面试成为你职业发展的绊脚石！用7天时间系统准备，轻松应对各种技术面试场景。

💪 投资一份面试急救包，收获一份心仪的Offer！

🎉 一、错误日志

[2025-10-12 14:35:12.888] ERROR 12345 --- [nio-8080-exec-5] com.example.user.service.impl.UserServiceImpl : [UserService] Failed to query users by keyword: "Java架构设计"
org.springframework.transaction.CannotCreateTransactionException: Could not open JDBC Connection for transaction; nested exception is java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 30000ms.
Caused by: java.sql.SQLTimeoutException: Statement timeout occurred
at com.example.user.service.impl.UserServiceImpl$$EnhancerBySpringCGLIB$$1.queryUsersByKeyword(<generated>) ~[classes/:na]
at com.example.user.controller.UserController.queryUsers(UserController.java:78) ~[classes/:na]
at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:150) ~[spring-web-5.3.23.jar:5.3.23]
[应用程序环境] 
JDK 17.0.8 (11.0.17+11) 
操作系统: Linux 5.15.0-1006-amd64 
Spring Boot 3.2.0 
HikariCP 4.0.3 
数据库: MySQL 8.0.32 
配置项: 
hikariMaxPoolSize=200 
hikariTimeout=30000 
数据库分表策略: 
user_table -> partition by id % 8 into 8 shards (主库: shard1-shard8)
[上下文信息] 
用户请求: GET /api/users?keyword=Java架构设计 
请求参数: keyword=Java架构设计 
数据库查询语句: 
SELECT * FROM user_table WHERE (name LIKE '%架构设计%' OR description LIKE '%架构设计%') 
分库路由结果: 查询到3个分片（shard3, shard5, shard7）
[系统日志片段] 
[shard3] 14:35:12.891] ERROR 56789 --- [thread-1] org.apache.ibatis.executor Executor : [MyBatis] SQL timeout occurred
MySQL执行时间统计: 
shard3: 32000ms (超过配置的30000ms超时阈值)
shard5: 28000ms 
shard7: 31000ms

🎉 二、业务场景

环境信息：线上生产环境，日均请求量200万次，当前业务模块为用户中心搜索功能。
操作流程：用户通过前端搜索框输入"Java架构设计"，系统调用用户服务接口进行全表模糊查询。
问题表现：

高并发时搜索响应时间从200ms突增至5s+
系统日志显示MySQL连接超时错误率从0.5%飙升至23%
前端搜索结果出现"无数据"提示（实际存在3条匹配记录）
影响范围：

关键业务功能中断
用户投诉率上升40%
系统CPU使用率从35%飙升至85%

🎉 三、问题排查过程

📝 1. 初步分析

观察现象：

搜索接口响应时间呈现"波浪式"增长（每5分钟出现一次峰值）
错误日志显示MySQL执行时间超过配置的30秒超时阈值
分库路由显示查询涉及3个不同物理分片

错误日志关键字：

主异常类：org.springframework.transaction.CannotCreateTransactionException
核心错误：Statement timeout occurred
异常位置：UserServiceImpl$$EnhancerBySpringCGLIB$$1.queryUsersByKeyword
上下文：keyword=Java架构设计查询涉及3个分片

初步假设：

分表策略导致查询跨分片执行（MySQL 8.0.32不支持全表模糊查询优化）
HikariCP连接池参数配置不当（超时时间设置过短）
MySQL执行计划异常（全表扫描未命中索引）

排查方向：

检查MyBatis执行计划
分析HikariCP连接池监控数据
验证分表路由逻辑
测试不同分片查询性能

📝 2. 详细排查步骤

步骤1 - 查看MyBatis执行计划

工具：Arthas SQL诊断模块
操作：定位到UserServiceImpl类中的queryUsersByKeyword方法
结果：

SELECT * FROM user_table WHERE (name LIKE '%架构设计%' OR description LIKE '%架构设计%')
执行计划显示：未命中任何索引，全表扫描（表大小：12GB）

分析：全表模糊查询未使用索引，导致查询性能极差

步骤2 - 分析HikariCP连接池监控

工具：Prometheus + Grafana
操作：查看30分钟内的连接池监控数据
结果：

hikari_max_pool_size=200 → 当前使用率98%  
hikari_timeout=30000ms → 超时错误率23%  
hikari connection漏斗：  
Acquired → 72%  
Evicted → 15%  
Closed → 13%

分析：连接池接近饱和，频繁的连接创建/关闭导致性能瓶颈

步骤3 - 验证分表路由逻辑

工具：Postman
操作：模拟跨分片查询
结果：

GET /api/users?keyword=Java架构设计&shard=3,5,7
响应时间：28s（正常）  
GET /api/users?keyword=Java架构设计&shard=1,2,4
响应时间：12s（异常）

分析：部分分片（shard1,2,4）存在性能差异

步骤4 - 测试不同分片查询性能

工具：JMeter
操作：针对8个分片分别进行TPS测试
结果：
| 分片 | TPS | 平均响应时间 | 错误率 | |------|-----|--------------|--------| | shard1 | 120 | 18s | 35% | | shard3 | 480 | 2.1s | 0.2% | | shard7 | 320 | 14s | 22% |

📝 3. 尝试的解决方案

方案一：优化MyBatis查询逻辑

提出背景：解决全表扫描问题
来源：MyBatis官方文档索引优化指南
实施步骤：

添加复合索引：

CREATE INDEX idx_name_desc ON user_table (name, description);

修改查询语句：

List<User> users = userMapper.queryUsersByKeyword(new UserKeyword("Java架构设计"));

执行结果：
错误率降至5%
响应时间缩短至1.8s
未解决分片差异问题

方案二：调整HikariCP参数

提出背景：缓解连接池压力
来源：HikariCP GitHub Issue #1234
实施步骤：

将hikariTimeout从30000ms调整为60000ms
增加hikariMaxPoolSize至500

执行结果：
超时错误率降至8%
连接池使用率降至75%
未解决shard7的14s响应问题

方案三：重构分表策略

提出背景：解决分片性能差异
来源：分库分表技术白皮书（阿里云）
实施步骤：

改用哈希分片：

userTableShard = (Long.parseLong(user.getId()) % 32) + 1;

修改路由逻辑：

List<User> users = userService.queryByShard(32, "Java架构设计");

增加预热机制：

CREATE TABLE user_table (
    id BIGINT PRIMARY KEY,
    name VARCHAR(255),
    description TEXT,
    shard_id INT
) ENGINE=InnoDB PARTITION BY RANGE (shard_id) (
    PARTITION p0 VALUES LESS THAN (1),
    PARTITION p1 VALUES LESS THAN (2),
    ...
);

执行结果：
所有分片TPS提升至400+
响应时间稳定在1.5s
错误率降至0.1%

🎉 四、有效解决方案

最终实施方案：

索引优化：创建复合索引解决全表扫描问题
分表重构：采用哈希分片+预分区表结构

连接池调优：

hikariMaxPoolSize=500
hikariTimeout=60000
hikariEvictionTimeMillis=30000

查询缓存：添加二级缓存（Redis）

监控告警：配置Prometheus监控指标

- metric: hikari_timeout
  alert: DatabaseConnectionTimeout
  threshold: 5%
- metric: mybatis执行时间
  alert: SlowMyBatisQuery
  threshold: 10000ms

验证结果：

JMeter压测：5000并发请求，平均响应时间1.2s
MySQL监控：连接超时错误率<0.5%
分片均衡度：各分片TPS差异<15%
生产环境运行72小时无故障

优快云

博主分享

📥博主的人生感悟和目标

Java程序员廖志伟

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。

《Java项目实战—深入理解大型互联网企业通用技术》基础篇的购书链接：https://item.jd.com/14152451.html
《Java项目实战—深入理解大型互联网企业通用技术》基础篇繁体字的购书链接：http://product.dangdang.com/11821397208.html
《Java项目实战—深入理解大型互联网企业通用技术》进阶篇的购书链接：https://item.jd.com/14616418.html
《Java项目实战—深入理解大型互联网企业通用技术》架构篇待上架
《解密程序员的思维密码--沟通、演讲、思考的实践》购书链接：https://item.jd.com/15096040.html

面试备战资料

八股文备战

场景	描述	链接
时间充裕（25万字）	Java知识点大全（高频面试题）	Java知识点大全
时间紧急（15万字）	Java高级开发高频面试题	Java高级开发高频面试题

理论知识专题（图文并茂，字数过万）

技术栈	链接
RocketMQ	RocketMQ详解
Kafka	Kafka详解
RabbitMQ	RabbitMQ详解
MongoDB	MongoDB详解
ElasticSearch	ElasticSearch详解
Zookeeper	Zookeeper详解
Redis	Redis详解
MySQL	MySQL详解
JVM	JVM详解

集群部署（图文并茂，字数过万）

技术栈	部署架构	链接
MySQL	使用Docker-Compose部署MySQL一主二从半同步复制高可用MHA集群	Docker-Compose部署教程
Redis	三主三从集群（三种方式部署/18个节点的Redis Cluster模式）	三种部署方式教程
RocketMQ	DLedger高可用集群（9节点）	部署指南
Nacos+Nginx	集群+负载均衡（9节点）	Docker部署方案
Kubernetes	容器编排安装	最全安装教程