记一次load飙升，频繁FullGC问题解决过程

最新推荐文章于 2024-05-28 22:15:31 发布
最新推荐文章于 2024-05-28 22:15:31 发布
阅读量847 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： JAVA 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41574321/article/details/105121479
本文详细记录了一次线上系统出现SQL连接异常、TPS正常但查询时间剧增的问题排查过程。通过分析发现，慢SQL、频繁GC及内存占用过高是主要原因。文章提供了具体的排查步骤，包括使用top命令查看资源情况、jstat命令监控GC状态、dump堆栈信息及使用JProfiler进行深入分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.现象

  • load飙升到30+
  • 线上sql连接异常
  • tps正常
  • sql查询时间剧增

在这里插入图片描述

2.解决过程

  1. sql连接池不够了，肯定是慢sql导致
  2. 频繁GC，一般内存使用过多
  3. 结合堆栈信息，某个对象内存占用特别多
  4. 某个sql查询数量大，调用量多，全表扫描。

3.GC查看

top 命令查看资源情况，找到使用率最高的线程
在这里插入图片描述
sudo -u spring-boot jstat -gcutil 384 200 50 命令查看内存使用，GC回收情况
在这里插入图片描述

4.dump堆栈信息

sudo -u spring-boot jmap -dump:format=b,file=heap.hprof 1375
在这里插入图片描述

5.下载文件

scp -r root@10.1.XX.XX:/tmp/hsperfdata_spring-boot/heap.hprof /Users/download
解释：root@ip:/目标文件地址 下载到那个文件地址

6.用JProfiler分析

注：图不是一次解决问题过程中截的，所以PID都不同

再一次生产 CPU 高负载排查实践

jstat命令查看jvm的GC情况

让bug无处藏身，Java 线上问题排查思路、常用工具
wenyusuran的专栏
08-20 1236
本文总结了一些常见的线上应急现象和对应排查步骤和工具。分享的主要目的是想让对线上问题接触少的同学有个预先认知，免得在遇到实际问题时手忙脚乱。 只不过这里先提示一下。在线上应急过程中要记住，只有一个总体目标：尽快恢复服务，消除影响。不管处于应急的哪个阶段，我们首先必须想到的是恢复问题，恢复问题不一定能够定位问题，也不一定有完美的解决方案，也许是通过经验判断，也许是预设开关等，但都可能让我们达到快速恢复的目的，然后保留部分现场，再去定位问题、解决问题和复盘。 在大多数情况下，我们都是先优先恢复服务，保留下当
主题 06：如何高效地排查 Java 系统异常
Jin_Kwok的博客
10-28 559
1. 引言 作为软件工程师，对于衡量系统性能的常用指标：CPU 使用率、系统负载（Load）、响应时间（RT）、每秒查询率（QPS）、并发数等，应该不陌生。通过这些指标可以量化地评价系统的状态，当系统在运行中出现问题时，这些表征系统性能的指标通常也会出现异常，从而有助于定位问题。更重要的是，大多数情况下，在系统问题爆发之前，某些指标就会显示异常，从而起到预警作用，为排查、解决问题争取时间。理解系统...
记一次load过高的问题追踪
天阶的专栏
02-13 977
前言:本次追踪没保存截图。因此只能文字描述下了。 运维通过内部沟通软件发来消息，有个消费挤压太厉害已经超过1000w。收到消息后打开监控，发现消费能力于之前下降了50%。 由于是春节期间，考虑量上来的可能性大。所以认为只是偶尔消费挤压之后便会恢复，但第二天依然是这种问题。于是登上其中一台机器。发现1，5，15分钟load均在82，观察一小时左右仍居高不下。于是下定决心排查问题。 首先我们用top命令，把正在跑的进程动态列出来，-c一下看看cpu的使用情况。这时发现一个问题。cpu使用率很高，并且sys
一条慢SQL引发的改造
闲鱼技术的博客
03-02 2293
前言闲鱼服务端在做数据库查询时，对每一条SQL都需要仔细优化，尽可能使延时更低，带给用户更好的体验。但是在生产中偶尔会有一些情况怎么优化都无法满足业务场景。本文通过对一条慢SQL的真实改造...
记一次频繁fullgc排查到解决全流程复盘
zhang09090606的博客
08-07 5271
阿里云oss文件上传导致的频繁fullgc问题排查到解决全流程复盘
一次让人难以忘怀的排查频繁Full GC过程
huaweitman的专栏
03-15 8844
我们的Java应用因频繁FULL GC导致性能降低很多，经过多人的定位也没有结论，于是我自主请命，经过一天的研究终于搞定了，现把经验与大家共享，相关的gc日志如下： 4.758: [Full GC [PSYoungGen: 464K->0K(71936K)] [PSOldGen: 37949K->33994K(68672K)] 38413K->33994K(140608K) [PSPermGen
数据库连接池引起的FullGC问题，看我如何一步步排查、分析、解决
weixin_50666791的博客
10-09 1055
问题现象 在某个工作日，突然收到线上的服务告警，有大量的请求延时产生，查看线上服务发现基本上都是获取数据库连接超时，而且影响时间只有3~4秒钟，服务又恢复了正常。隔了几分钟之后，又出现了大量的告警，还是影响3~4秒后又恢复正常。 由于我们是底层服务，被重多的上层服务所依赖，这么频繁的异常波动已经严重影响到了业务使用。开始排查问题 排查过程 DB的影响？ 当第一次告警产生时，第一反应是可能上层服务有大量的接口调用，并且涉及到一些复杂的SQL查询导致数据库连接数不够用，但是在分析了接口调用情况后发现异常
系统CPU Load飙升排查之debug日志打印隐含大对象序列化导致的系统性能急剧下降
lwg040814025的博客
08-05 2277
机器健康情况     这段时间某台机器持续load报警，查看load监控和JVM GC回收都不太正常，于是怀疑是业务增长导致，但是看了tcp连接监控监控，发现业务并没有明显增长，如下图: 首先查看CPU，机器都是24核以上，内存配置48G，垃圾收集使用G1，停顿时间200ms 近一个月的load监控如下： 近一个月的内存使用 图上可看出，这太机器可用内存已经不多了。 再看C...
Java GC问题排查的一些个人总结和问题复盘
最新发布
iwts
05-28 962
Java GC
CentOS 7 下 elasticsearch 6.5.4 占用 CPU 高及频繁不可用排查
老实人张大傻
03-26 857
查看进程 ID [root@localhost ~]# ps -ef | grep elasticsearch6 | grep -v grep dev 9398 1 99 10:04 ? 03:03:47 /bin/java -Xms31g -Xmx31g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly 通过 top 查看 el
理解Linux系统中的load average（图文版）
The Big Data Way
01-10 1299
一、什么是load average？ linux系统中的Load对当前CPU工作量的度量 (WikiPedia: the system load is a measure of the amount of work that a computer system is doing)。也有简单的说是进程队列的长度。 Load Average 就是一段时间 (1 分钟、5分钟、15分钟) 内平均...
频繁发生FullGC的排查
欢迎来到【战羽】的博客
04-21 5483
问题频繁发生FULLGC，怎么查找是哪里的代码问题Full GC的原因我们知道Full GC的触发条件大致情况有以下几种情况：程序执行了System.gc() //建议jvm执行fullgc，并不一定会执行执行了jmap -histo:live pid命令 //这个会立即触发fullgc在执行minor gc的时候进行的一系列检查执行Minor GC的时候，JVM会检查老年代中最大连续可用空间是否...
线上FullGC频繁排查-druid
热门推荐
Rocky的博客
04-11 4万+
线上FullGC频繁的排查问题
【JVM】之监控命令-jstat详解
A_captain_608的博客
08-17 4687
JVM之jstat命令详解
【Linux系列】Linux服务器查看gc日志
Yangy的博客
07-30 7392
1.虚拟机命令查看GC情况 1.查找要查看的程序进程 linux执行 jps命令 2.gc信息命令 jstat -gc PID 毫秒数 刷新次数 例如：jstat -gc 11103 5000 5 S0 — Heap上的Survivor space 0区已使用空间的百分比 S1 — Heap上的Survivor space 1区已使用空间的百分比 E — Heap上的Eden space区已使用空间的百分比 O — Heap上的Old spac...
Jstat详解
tikiWon的博客
12-10 727
语法格式如下： jstat [ generalOption | outputOptions vmid [interval[s|ms] [count]] ] vmid是Java虚拟机ID，在Linux/Unix系统上一般就是进程ID。interval是采样时间间隔。count是采样数目。比如下面输出的是GC信息，采样时间间隔为250ms，采样数为4： root@ubuntu:/# jstat -gc 21711 250 4 S0C S1C S0U S1U EC EU
Jstat -gc 参数说明
你的BoyZ的博客
10-14 1万+
Jstat -gc 参数说明Jstat -gc 参数说明 Jstat -gc 参数说明 S0C：第一个幸存区的大小 S1C：第二个幸存区的大小 S0U：第一个幸存区的使用大小 S1U：第二个幸存区的使用大小 EC：伊甸园区的大小 EU：伊甸园区的使用大小 OC：老年代大小 OU：老年代使用大小 MC：方法区大小 MU：方法区使用大小 CCSC:压缩类空间大小 CCSU:压缩类空间使用大小 YGC：年轻代垃圾回收次数 YGCT：年轻代垃圾回收消耗时间 FGC：老年代垃圾回收次数 FGCT：老年代垃圾回收消耗时
JVM命令行监控工具之jstat(JVM Statistics Monitoring Tool)
不见长安见晨雾
03-22 1263
jstat简介 jstat（JVM Statistics Monitoring Tool）：用于监视虚拟机各种运行状态信息的命令行工具。它可以显示本地或者远程虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据。 类型 内容 说明 类装载相关 -class 显示ClassLoader的相关信息:类的装载卸载数量、总空间、类装载消耗的时间等 垃圾回收相关 -gc 显示与GC相关的堆信息。包
jstat –分析
最佳 Java 编程
06-14 9335
jstat是一个简单的实用工具，在JDK中存在，用于提供与JVM性能相关的统计信息，例如垃圾收集，编译活动。 jstat的主要优势在于，它可以在运行JVM且无需任何先决条件的情况下动态捕获这些指标。 这是什么意思？ 例如，如果要捕获与垃圾回收相关的统计信息，则在启动JVM之前需要传递以下参数： -Xlog:gc*:file={file-path} 此参数将启用GC日志并将其打印在指定...
Vbsedit工具使用及Failed to load pdm.dll问题解决指南
### Failed to load pdm.dll问题说明 在使用某些软件或执行特定脚本时，可能会遇到“Failed to load pdm.dll”的错误提示。这个错误通常是指某个程序无法找到或正确加载名为“pdm.dll”的动态链接库（DLL）文件。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值