一次Spring Boot假死诊断。。。

解决 Spring Boot 中的 ClientAbortException: Broken pipe 异常及优化方案 是一个常见的网络异常,通常是客户端与服务端通信中断导致的。优化服务端性能,减少长时间操作。合理设置超时时间,避免误判为连接异常。限制返回数据量,确保客户端能够高效处理。增强异常捕获机制,提高系统的健壮性。 阅读详情

这两天遇到一个服务假死的问题,具体现象就是服务不再接收任何请求,客户端会抛出Broken Pipe。

01 检查系统状态

执行top,发现CPU和内存占用都不高,但是通过命令

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

发现有大量的CLOSEWAIT端口占用,继续调用该服务的api,等待超时之后发现CLOSEWAIT的数量也没有上升,也就是说服务几乎完全僵死。

02 检查JVM情况

怀疑可能是线程有死锁,决定先dump一下线程情况,执行

jstack > /tmp/thread.hump

发现tomcat线程基本也正常,都是parking状态。

这就比较奇怪了,继续想是不是GC导致了STW,使用jstat查看垃圾回收情况

app@server:/tmp$ jstat -gcutil 1 2000 10  

S0     S1       E         O        M       CCS    YGC    YGCT    FGC    FGCT    GCT  

0.00  27.79  65.01  15.30  94.75  92.23  1338    44.375  1881    475.064   519.439

一看吓一跳,FGC的次数居然超过了YGC,时长有475s。一定是有什么原因触发了FGC,好在我们打开了GC log。

发现一段时间内频繁发生Allocation Failure引起的Full GC。而且eden区的使用占比也很大,考虑有频繁新建对象逃逸到老年代造成问题。询问了一下业务的开发,确认有一个外部对接API没有分页,查询后可能会产生大量对象。

由于外部API暂时无法联系对方修改,所以为了先解决问题,对原有的MaxNewSize进扩容,从192MB扩容到一倍。经过几天的观察,发现gc基本趋于正常

S0     S1      E       O       M      CCS     YGC    YGCT    FGC    FGCT    GCT  

0.00  3.37  60.55  8.60  95.08  92.98    87        2.421       0         0.000    2.421

扩容之前对heap进行了dump

jmap -dump:format=b,file=heapDump 

通过MAT分析内存泄露,居然疑似是jdbc中的一个类,但其实整体占用堆容量并不多。

分析了线程数量,大约是240多条,与正常时也并没有很大的出入。而且大量的是在sleep的定时线程。

03 总结

本次排查其实并未找到真正的原因,间接表象是FGC频繁导致服务假死。而且acturator端口是正常工作的,导致health check进程误认为服务正常,没有触发告警。如果你也遇到类似的情况欢迎一起讨论。

2025年下半年网络工程师案例分析真题及答案解析 阅读详情

相关推荐

Slurm集群调度策略详解(1)-主调度

Slurm调度系统中针对作业的调度主要有三种,主调度,回填调度,GANG调度,这篇文章主要针对主调度进行解析。

h_m_l的博客 6031

springboot tomcat连接数、线程等异常

1、Broken pipe 简要: org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) 解决办法——nginx方法 proxy_send_timeout 1200s; proxy_read_t

堂哥码财的博客 2568

Keil MDK 5.37及之后版本 安装AC5(ARMCC)编译器详细步骤

由于Keil 5.37及之后版本不再默认安装AC5(ARMCC)编译器,这就会导致由AC5编译的工程无法正常编译,往往输出窗口会提示以下信息:*** Target ‘STM32xxxx‘ uses ARM-Compiler ‘Default Compiler Version 5‘ which is not available.

s_Modesto的博客 1万+

Docker环境undertow线程数不足问题探究

Docker环境undertow线程数不足问题探究 背景 上篇Docker环境Spring Boot应用大量http请求超时,我们找到大量http请求超时原因:undertow的工作线程不足。 留下一些疑问:undertow默认配置是怎样的?为什么其他微服务也使用默认参数,却有256个工作线程? 结论 k8s调度启动容器默认分配的cpu资源很小和OpenJDK 1.8.0_181会感知容器资源限制...

hunger_wang的博客 6314

数字电子时钟——数字电路课设

本文设计了一种基于中小规模集成电路的数字电子时钟系统,采用模块化设计方法,包含晶振电路(CD4060+D触发器)、计时电路(74HC161计数器)、数码管驱动(CD4511)和整点报时功能。系统实现了60进制秒/分、24进制小时、7进制星期的计时显示,支持手动校时功能,并具备整点报时特性(59分54-58秒5次500Hz低音,59秒1次1000Hz高音)。通过分模块调试与整合,最终实物电路满足设计要求,获得优秀评价。

来自FZU——电子科学与技术专业 1494

告别ROS1!在Ubuntu 22.04上为VINS-Fusion适配ROS2 Humble的完整踩坑记录

本文详细记录了在Ubuntu 22.04上将VINS-Fusion从ROS1迁移到ROS2 Humble的完整过程,包括环境搭建、依赖管理、核心代码适配及性能优化。通过实战案例和调试技巧,帮助开发者高效解决迁移过程中的常见问题,提升系统稳定性和性能。

weixin_42628688的博客 282

堆空间溢出问题排查

1.案例背景 在一次系统测试过程中,测试人员反馈平台业务功能不可用,请求协助排查。 我首先查看运管平台-状态监控,检查服务运行情况,发现状态显示服务运行正常,初步判断可能是服务假死造成的,而能造成服务假死的多半是jvm出问题了。查看运管日志,发现异常日志出现Java heap space,即jvm堆内存溢出。本文将介绍一下我的分析思路与处理过程。 2.排查思路 首先,根据本人目前所掌握的jvm知识与经验,猜测引起内存溢出有以下几种情况: 内存中加载的数据量过于庞大,如一次从数据库取出过多数据; 集合类中有

qq_42243639的博客 1374

提示deepseek生成完整的json用于对接外部API

通过精准的提示词设计(字段过滤、格式约束)、动态验证机制(自检与修正)和官方模板参考,可有效确保DeepSeek生成的JSON纯净无冗余。

神棍之路 2310

【线上异常】java.io.IOException: Broken pipe

一、参考资料 记录一次java.io.IOException: Broken pipe 的异常处理_lijun169的博客-优快云博客出现“Broken pipe”可能的情况:1、客户端请求服务器数据,服务器突然挂了;2、客户端请求服务端数据,服务端正常返回,凡是客户端由于超时等原因断开。原因分析:做了压力测试,发现遇到的情况属于第二种,由于去数据库取数据的时候,30秒里无法正常获取有效的数据库连接,或者查询时间长,导致OSB过来的请求超时,也就是客户端超时了,服务端还试图返回数据,结果导致如题异常。解

后端研发工程师Marion的博客 1351

关键!C#工业上位机界面设计终极指南:WinForm/WPF怎么选?【工业实战完整版,无废话选型+避坑+落地技巧】

工业上位机UI选型指南:WinForm与WPF核心对比 摘要: 本文基于工业实战视角,对比WinForm与WPF在工业上位机开发中的适用性。WinForm凭借GDI+原生渲染、极致兼容性(完美支持Win7/XP)、低资源占用和硬件底层调用优势,成为老旧工控机、简单监控系统和7×24小时运行设备的首选。WPF则依托DirectX硬件加速、MVVM架构和强大可视化能力,更适合复杂可视化大屏、3D模拟等高端场景及需要长期迭代的大型项目。核心选型原则是:优先考虑稳定性与兼容性,WinForm解决"能不能用

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 730

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

记录一次Spring Boot假死诊断

转载自本人博客 原文地址:https://www.deanwangpro.com/2019/07/28/zombie-thread-trouble-shooting 这两天遇到一个服务假死的问题,具体现象就是服务不再接收任何请求,客户端会抛出Broken Pipe。 检查系统状态 执行top,发现CPU和内存占用都不高,但是通过命令 netstat -n | ...

duodo的专栏 3519

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

linux进程假死的原因_一次Spring Boot假死诊断

这两天遇到一个服务假死的问题,具体现象就是服务不再接收任何请求,客户端会抛出Broken Pipe。01 检查系统状态执行top,发现CPU和内存占用都不高,但是通过命令netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'发现有大量的CLOSEWAIT端口占用,继续调用该服务的api,等待超时之后发现CLOSEWA...

weixin_39683021的博客 867

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

linux进程假死的原因_记录一次Spring Boot假死诊断

转载自本人博客 这两天遇到一个服务假死的问题,具体现象就是服务不再接收任何请求,客户端会抛出Broken Pipe。 检查系统状态 执行top,发现CPU和内存占用都不高,但是通过命令 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 发现有大量的CLOSEWAIT端口占用,继续调用...

weixin_39600319的博客 413

如何用java判断进程是否假死_Spring Boot假死诊断实战记录

这两天遇到一个服务假死的问题,具体现象就是服务不再接收任何请求,客户端会抛出Broken Pipe。检查系统状态执行top,发现CPU和内存占用都不高,但是通过命令netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'发现有大量的CLOSE_WAIT端口占用,继续调用该服务的api,等待超时之后发现CLOSE_WAI...

weixin_32154109的博客 2031

Spring Boot 与 Arthas 线上诊断实战

Arthas 为我们提供了强大的线上诊断能力,通过它我们可以在不重启应用的情况下定位各种问题。在实际项目中,我们应该熟练掌握常用命令,建立完善的诊断流程,这其实可以更优雅一点。如果有任何问题或建议,欢迎在评论区留言,我会认真回复每一条评论。希望这篇文章对大家有所帮助。

alex_goden的博客 1016

Spring Boot Actuator监控与诊断

在使用Spring Boot Actuator时,需要注意配置中心的高可用性和稳定性,确保监控数据的实时性和准确性。Spring Boot Actuator作为Spring框架的重要组成部分,不仅提供了丰富的监控功能,还为诊断系统问题提供了强有力的工具。Spring Boot Actuator是一个强大的监控与诊断工具,它提供了多种监控指标和诊断方法,帮助开发者快速定位和解决问题。(2)监控插件:根据业务需求,引入相应的监控插件,实现对特定指标的实时监控。二、Spring Boot Actuator概述。

searchboy2025的博客 63

Spring Boot 项目启动优化

分析先行: 立即为你的项目集成actuator的startup功能,找到启动耗时最长的 Top 5 Bean。低成本优化尝试全局懒加载,并测试对首次请求的影响。根据启动日志,exclude掉明确不需要的自动配置。清理pom.xml中的无用依赖。针对性优化对耗时长的 Bean 使用@Lazy或将其初始化逻辑改为@Async。检查并收紧的范围。开发提效: 本地开发环境务必引入。极限挑战。

专注于技术分享 1178

5分钟原型:构建Spring Boot错误自动诊断工具

最近在开发Spring Boot项目时,经常遇到'无法访问org.springframework.boot.springapplication'这个恼人的错误。每次排查都要花费大量时间检查依赖和配置,于是萌生了一个想法:能不能快速开发一个小工具来自动诊断这类问题?的原型开发效率——不用配置本地环境,AI辅助编码确实节省了大量样板代码编写时间。特别是部署功能,点两下就把工具变成在线服务,同事现在遇到类似错误都会先扔进这个工具试试。1. 准确识别出spring-boot-starter-parent版本过低。

StarfallRaven13的博客 975

如何高效解决Redisson与Spring Boot版本冲突:3个实用策略

在Java分布式应用开发中,Redisson与Spring Boot的集成是常见的组合,但版本兼容性问题常常让开发者头疼。本文将分享3个实用策略,帮助您快速诊断和解决Redisson与Spring Boot的版本冲突问题,确保项目顺利运行。 ## 🔍 问题诊断:识别版本冲突的常见症状 版本冲突通常表现为应用启动失败或运行时异常。以下是几个典型的症状: 1. **启动时ClassNotFou

gitblog_00658的博客 879

Java服务假死诊断实战:从线程阻塞到资源耗尽的排查与解决

在分布式系统与高并发场景下,服务假死(或称线程阻塞)是影响应用稳定性的常见问题。其核心原理在于线程因锁竞争、I/O等待或资源耗尽而无法继续执行任务,导致服务进程虽存活却无法响应请求。理解线程状态(如BLOCKED、WAITING)与JVM运行机制是诊断的基础。这类问题的技术价值在于直接关系到系统的可用性与吞吐量,尤其在微服务架构中,单个服务的阻塞可能引发级联故障。常见的应用场景包括数据库连接池耗尽、同步锁竞争激烈、外部依赖超时以及垃圾回收长时间停顿等。本文以Java Spring Boot应用为例,系统介绍

weixin_30654583的博客 310

gRPC 长连接假死之谜:Spring Boot 如何识破“僵尸”连接并精准心跳复苏?

本文探讨了在 Spring Boot 微服务中使用 gRPC 长连接时可能出现的"假死"问题及其解决方案。文章首先通过四个真实案例揭示了长连接假死引发的系统雪崩现象,包括客户端请求卡死、Kubernetes 探针误判、负载均衡失效和优雅关闭时的连接泄漏。 随后深入分析了 gRPC 健康检查的三层模型:传输层(TCP Keepalive)、HTTP/2 层(PING帧)和应用层(gRPC健康检查协议)。针对服务端不感知客户端断开的问题,提供了详细的 keepalive 配置方案,包括空闲连接超时、最大连接生命

深山技术宅的博客 502

Spring Boot Admin 集成诊断利器 Arthas 实践

简介:Arthas 是 Alibaba 开源的 Java 诊断工具,具有实时查看系统的运行状况;查看函数调用参数、返回值和异常;在线热更新代码;秒解决类冲突问题;定位类加载路径;生成热点;通过网页诊断线上应用。如今在各大厂都有广泛应用,也延伸出很多产品。作者 | 阿提说说来源|阿里巴巴云原生公众号前言Arthas 是 Alibaba 开源的 Java 诊断工具,具有实时查看系统的运行状况;查看函数调用参数、返回值和异常;在线热更新代码;秒解决类冲突问题;定位类加载路径;生成热点;通过网页诊断线上应用。如今在

阿里云开发者 1860

3分钟搞定Spring Boot启动报错:快马AI智能诊断实战

对于Spring Boot开发者来说,遇到启动错误不必惊慌。通过合理利用工具,可以大幅提升排错效率。先尝试理解错误信息的基本含义使用智能工具快速获取诊断建议结合官方文档验证解决方案积累经验,形成自己的排错方法论最后,如果你也想体验这种高效的排错方式,不妨试试InsCode(快马)平台,它的AI诊断功能确实让我在开发过程中少走了很多弯路。特别是对于复杂的微服务项目,这种智能辅助工具真的能节省大量时间。

OnyxPanther23的博客 1085

5分钟搭建Spring Boot错误诊断原型

对于想快速验证技术想法的场景,这种轻量级原型开发方式特别合适。下一步准备把错误诊断规则细化后,直接在这里部署成团队内部工具。如果你也常被Spring Boot启动报错困扰,不妨试试用这个思路快速搭建自己的诊断助手。上,从新建项目到功能演示真的只要5分钟:内置的Spring Boot模板省去了初始配置,实时预览功能立刻能看到修改效果,最关键的是不需要折腾本地环境。最近在开发Spring Boot项目时,经常遇到应用启动失败的报错,每次都要花大量时间查日志找原因。于是想做个快速诊断工具的原型,意外发现用。

SilvermistFalcon19的博客 610

5分钟搭建Spring Boot错误诊断原型系统

对于开发者来说,快马平台这种能快速实现想法的工具真的很实用,特别是做技术验证时,不用操心环境问题,专注在核心逻辑上就行。用Spring Boot创建了一个REST接口,主要做两件事:接收前端传来的错误日志,调用平台的Kimi-K2模型API进行分析。最近在开发Spring Boot项目时,经常遇到各种启动报错,最头疼的就是看到"ERROR STARTING APPLICATIONCONTEXT"这类错误。上快速搭建了一个原型系统,整个过程只用了5分钟,效果出乎意料的好。在本地可能要折腾半天的环境配置,在。

EmeraldEagle36的博客 654
上一篇: 一文带你深入理解Java中的AQS!
下一篇: 实战:深入AQS大解析!
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值