java突发内存和CPU同时100%排查解决

最新推荐文章于 2025-10-21 17:47:59 发布
原创 最新推荐文章于 2025-10-21 17:47:59 发布 · 置顶 · 3.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #jvm

本文介绍了一次SpringBoot微服务项目中出现的性能问题，包括CPU和内存使用率飙升至100%的情况。通过使用arthas、jstat等工具定位问题，并借助MAT工具深入分析内存dump文件，最终找到了导致性能瓶颈的具体原因。

问题说明

springBoot 微服务项目，生产环境突然CPU和内存使用率都100%，导致接口请求超时。

初步排查

  1. 接口慢首先排除数据库和慢sql的影响，本次问题是所有接口同事慢，不是单个接口，所以不是数据库问题。
  2. 大面积接口慢很可能是CPU负载高，生产环境都有服务器监控，查看监控。
    在这里插入图片描述
    在这里插入图片描述
  3. 如果CPU很高，内存正常，很可能是那一段程序消耗cpu。首先使用阿里的arthas工具，thread -n命令查看cpu高的堆栈，然后再解决。
    我们遇到的是内存也很高，很可能是垃圾回收占用CPU，先用命令行快速排查一遍。
    jstat查看堆内存使用情况：jstat -gcutil 1 1000
    1000ms输出一次，线程pid=1的内存使用情况
    在这里插入图片描述
    jmap查看存活对象：jmap -histo:live 1
    统计pid=1的程序，存活对象使用情况，发现两百多万个业务对象。
    在这里插入图片描述
    总结：以上排查都是现有监控和简单命令行，进入服务器就可以快速得到结论。由于业务对象有几十个地方都用到了，不确定那个方法引起的，所以需要进一步深度排查，dump内存进行分析

使用MAT工具分析dump内存

  1. 保留事故现场，dump内存
    jmap -dump:format=b,file=/test/jmap_dump_all.hprof
    我们服务器内存比较大，dump文件7G，先zip压缩再下载到本地进行分析。zip压缩后大小1G。

  2. 安装和调试mat工具

  • 我用的mac，下载mac最新版本 : https://www.eclipse.org/mat/previousReleases.php
    在这里插入图片描述
  • 由于国内主流是java8，mat工具打开会报错，最新版本需要java11启动。
    在这里插入图片描述
    下载解压jdk11（不用配置环境变量） 进入Oracle 官网：https://www.oracle.com/java/technologies/downloads/#java11
  • 配置jdk
    step1. 在应用列表，找到mat应用，然后右键单击后，选择“显示包内容”
    step2. 进入Contents目录，找到Info.plist文件
    step3. 打开Info.plist文件
    step4. 编辑-vm配置，将解压的jdk11目录配置上
    在这里插入图片描述
    在这里插入图片描述
  • 默认只能打开1024M的文件，7G文档打开会报错OOM
    在这里插入图片描述
    在这里插入图片描述
  1. 使用mat工具
  • 用mat工具打开dump文件
  • 点击dominator_tree
  • 查看内存占用高的详情，根据堆栈找到入口接口
    在这里插入图片描述
    在这里插入图片描述

最后

mat工具找到占用内存的入口堆栈和具体对象，最后就是根据业务去优化了

鲫鱼哥
关注
Java内存使用异常导致CPU100%原因(线上JVM排查之二)
深度Java
08-23 1898
写这篇博客的初衷是发现线上JVM问题以及排查，觉得有必要记录并分享出来，有感于很多市面上的教程讲述JVM的教程，甚至还有很多深入到Java字节码和JVM底层源码领域等深入知识，我不否认这些理论和源码也很重要，但是很多学生学习的云里雾里，等学完这些遇到线上问题还是不会排查，实际解决工作中的问题才可以真正做到技术的融会贯通，才可以深入去学习和理解Java字节码和JVM底层源码。
线上Java应用CPU占用率100%的故障排查与分析
CyberByte的博客
09-18 515
通过使用jstack等工具获取线程栈信息，并分析定位导致CPU占用率高的线程，可以帮助我们快速排查和修复问题。最终，通过优化代码、异步处理和调整线程池配置等手段，可以降低CPU占用率，提高应用的性能和稳定性。获取线程栈信息：使用JDK提供的工具jstack，可以获取Java进程中所有线程的栈信息。通过分析线程栈，我们可以了解每个线程正在执行的代码，从而找到可能导致CPU占用率高的线程。确认CPU占用率：首先，我们需要确认应用程序的CPU占用率是否真的达到了100%，可以通过命令行工具或监控系统获取。
springboot运行一段时间cpu过高
wangyf1129的博客
09-12 1182
3. 找出最高占用的线程并记录thread_id， 把线程号换算成16进制编号：printf "%X\n"【thread_id】4. 查看高负载线程并找到具体方法： jstack 【进程】|grep 【线程】 -a 100(打印100行)5. 也可以导出进程的堆栈日志：jstack 【线程号】 > /home/test.log。2. 查看高负载进程下的高负载线程：top -Hp 【pid】1. top命令找出最高占用的进程ID。可使用jdk自带的工具jstack。
【Java开发者必看】Spring Boot项目部署后CPU飙高100%？根因分析与解决方案
最新发布
InstrFun的博客
10-21 510
快速解决Spring Boot应用CPU占用过高问题，深入剖析Java Spring Boot优化技巧，涵盖线程堆栈分析、内存泄漏排查与性能调优实战方法，适用于高并发部署场景，显著提升系统稳定性与响应效率，Java开发者值得收藏。
SpringBoot 程序 CPU 飙升排查：自制「方法级采样火焰图」
风象南的专栏
08-28 839
通过上面的方式，我们用极少的代码在 SpringBoot 程序里实现了一个轻量级的CPU 火焰图采样器。1、不依赖第三方大工具，随项目自带2、方法级别可视化，能快速定位 CPU 热点；3、火焰图展示直观、体验好；当然，这种方案有局限：1、采样频率过高会带来一定开销2、精度比不上专业的 async-profiler3、火焰图数据需要定期清理，避免内存膨胀。
Java 进程 CPU占用率100% 问题
u010186062的博客
12-27 5134
1.CPU占用率 现代分时多任务操作系统对 CPU 都是分时间片使用的：比如A进程占用10ms，然后B进程占用30ms，然后空闲60ms，再又是A进程占10ms，B进程占30ms，空闲60ms;如果在一段时间内都是如此，那么这段时间内的占用率为40%； 2.CPU占用率100%原因 线程的运行时间由cpu决定，cpu分给每个线程一个时间片，如果在时间片内，线程一直占有，则是100%； 3.java 进程中CPU占用率100%的常见场景 死循环； 大量Full GC； 耗时过太长的计算； 大量
java 进程100_Java进程CPU占用率100%问题排查
weixin_32734545的博客
02-16 365
100%指的是占用了CPU一个核心，两个核心是200%，以此类推。CPU占用率及对应进程ID(pid)可以通过top命令确定，在top界面按 c (显示完整的命令行参数)，按 1 (显示每个核心的统计数据)。这个问题最常见的有以下几种可能：1、堆内存不足导致频繁Full GC可以通过两个命令确定sudo jmap -heap pid 查看堆内存的消耗情况sudo jstat -gc pid int...
面试题：Java程序CPU 100%问题排查指南
上班搞IT，下班搞ITF。
04-24 931
当Java程序出现CPU使用率达到100%的情况时，通常意味着程序存在性能瓶颈或无限循环等问题。以下是系统化的排查方法和解决方案：
线上CPU100%问题总结及解决方案
m0_71836706的博客
03-04 3035
我们在生产实践中或多或少遇见过CPU100%的问题，如果没有处理过这些问题，第一次遇见多少有点手忙脚乱不知道该怎么处理，而且这个问题也是面试过程中老生常谈的问题，掌握和解决这类问题对我们提升有很大的帮助，接下来我们就来聊一下有哪些问题会导致CPU100%，以及该如何处理解决这类问题。
Java内存异常触发FGC无效导致CPU持续100%原因(线上JVM排查之三)
深度Java
08-24 1390
提高Java性能需要避免FGC，本文就是以一则线上真实的案例来分析FGC导致CPU100%，以及这个中间年轻代，年老代的变化。
生产环境CPU100%、FGC频繁、服务OOM排查思路总结
自律使我自由
12-25 1474
生产环境CPU100%、FGC频繁、服务OOM排查思路与具体实现
java进程cpu 100%问题排查
csdncjh的博客
10-19 353
线上有一个java程序不能持续跑，跑着跑着就阻塞，今天开始定位问题所在。 1.ps aux 查看线程pid 2.top 发现该进程长期cpu占用过高 3.执行“top -Hp 进程号”命令：查看java进程下的所有线程占CPU的情况 4.执行“printf "%x\n 10"命令 ：后续查看线程堆栈信息展示的都是十六进制，为了找到咱们的线程堆栈信息，咱们需要把线程号转成16进制。例如,printf "%x\n 10-》打印：a，那么在jstack中线程号就是0xa 5.执行 “js
java故障处理(内存100%，cpu100%，FullGC怎么办)
Carl_Zhang
06-04 3245
Java性能问题排查指南 本文收集了多篇关于Java性能问题排查的优秀文章，涉及GC停顿、CPU高负载、内存泄漏等常见问题的解决方法。同时提供了实用的排查命令和操作步骤。 主要排查工具 进程查看：ps -ef | grep java 或 jps GC监控：jstat -gcutil (pid) 5000（5秒打印一次GC情况） 堆内存分析：jmap -heap (pid) 现场保留： 内存快照：jmap -histo (pid) > histo.log 线程快照：jstack (pid) > s
java springboot项目 linux生产环境cpu/cpu100%飙升问题排查
qq_43145676的博客
01-25 1623
第二步：ps H -eo pid,tid,%cpu |grep 5970 查看进程对应的线程。这里的cn.waycube.property实现类对应433行就是代码出问题的地方。2: ps H -eo pid,tid,%cpu |grep 进程id。第三步：printf ‘0x%x\n’ 20507 获取十六进制线程。参考 https://v.douyin.com/iL4gS6Xm/4:jstack 进程id|grep 16进制线程id -A 20。3：printf ‘0x%x\n’ 线程id。
Java项目CPU100%如何处理
qq_39959019的博客
06-12 4892
计算密集型的任务需要大量的计算能力。命令jstack是java堆栈的跟踪工具，可以打印出程序中所有线程的堆栈信息，包括线程状态，调用栈信息，锁信息等。这会导致所有线程获得的 CPU 时间减少，当每个线程都试图完成自己的任务时，CPU 时间可能会被耗尽。的14行左右，这里给出的是14行，但是实际情况是14行的附近,结合代码来看一下就很容易问题。命令来查看程序的所有堆栈信息，但是，这里需要有一个注意的点，26976这个是一个十进制。的，使用jstack看到的nid是十六进制，所以我们需要转换，可以使用。
内存 100%排查及常见案例
共勉
07-29 3950
这次带来内存100%排查，以及内存溢出案例实践，看别人的排查过程不过瘾，自己动手实践一次，牢记于心
线上内存100%调查思路
小健学Java的博客
03-22 1621
遇到线上内存 100% 问题时，先检查 JVM 监控，确认是否是 Full GC、内存泄漏或缓存问题。使用 jmap、jstack、MAT 进行深入分析，排查大对象和内存泄漏情况。引入 Arthas 进行在线分析，无需重启服务即可排查问题，提高效率。优化缓存策略、调整 GC 参数，防止类似问题再次发生。线上环境内存占满是一个复杂的问题，但通过科学的方法和强大的工具，我们可以快速定位并解决问题！开源一个纯AI生成的健身记录App，如需源码，可关注公众号：小健学Java，回复“健身”即可获得！
生产环境CPU占有率过高怎么定位解决？
Hope_lee的博客
09-03 586
CPU过高可能是系统频繁的进行Full GC，导致系统缓慢。而我们平常也可能遇到比较耗时的计算，导致CPU过高的情况，查看方式如下： 首先我们通过top命令查看当前CPU消耗过高的进程是哪个，从而得到进程id；然后通过top -Hp <pid>来查看该进程中有哪些线程CPU过高，一般超过80%就是比较高的，80%左右是合理情况。这样我们就能得到CPU消耗比较高的线程i...
cpu100%时，该做什么
08-24
### 排查和处理 CPU 使用率达到 100% 的方法 当 CPU 使用率达到 100% 时，系统性能会显著下降，甚至可能导致服务不可用。为了有效排查和解决问题，需要结合系统监控工具和日志分析技术。 #### 1. 使用 `top` 和 `ps` 工具分析进程级 CPU 使用情况 `top` 和 `ps` 是最常用的性能分析工具，`top` 显示了系统总体的 CPU 和内存使用情况，以及各个进程的资源使用情况，而 `ps` 则只显示了每个进程的资源使用情况[^1]。通过 `top` 命令，可以查看当前 CPU 使用率的总体情况，并按下数字 1 来切换到每个 CPU 的使用率视图，从而进一步分析具体是哪个 CPU 出现了瓶颈[^2]。 ```bash top ``` #### 2. 分析具体占用 CPU 的进程 在 `top` 输出中，可以识别出占用 CPU 资源最高的进程。记录这些进程的 PID，然后使用 `ps` 命令进一步分析它们的详细信息： ```bash ps -p <PID> ``` 如果发现某个特定进程占用了大量 CPU 资源，可以结合日志文件和堆栈跟踪来分析其内部逻辑。例如，在 Java 应用中，如果垃圾回收器（GC）占用了大量 CPU 资源，说明 JVM 已经没有可分配的内存，可能是由于突发的异常逻辑分配了大量内存，导致达到 JVM 的 Heap 上限，从而引发频繁的 Full GC，最终占满 CPU 资源[^4]。 #### 3. 检查数据库相关操作 如果系统依赖数据库，可以检查当前正在执行的 SQL 语句，以识别是否存在性能问题。例如，可以通过以下命令查询当前正在执行的 SQL 语句： ```sql SHOW FULL PROCESSLIST; ``` 如果发现某个 SQL 语句执行时间较长，例如 `SELECT * FROM sec_prize_record LIMIT 11230, 5`，可以进一步优化查询逻辑，例如通过添加索引或调整分页策略来提升性能[^5]。 #### 4. 分析系统日志和应用程序日志 系统日志（如 `/var/log/messages` 或 `/var/log/syslog`）和应用程序日志是排查 CPU 使用率异常的重要依据。通过日志分析，可以识别出是否发生了异常请求、资源泄漏或代码逻辑错误。例如，某些异常的请求模式可能导致某个服务频繁调用高消耗函数，从而导致 CPU 使用率飙升。 #### 5. 使用性能分析工具进行深度分析 除了基础的 `top` 和 `ps` 工具，还可以使用更高级的性能分析工具，例如 `perf`、`strace`、`htop` 等，来深入分析 CPU 使用情况。`perf` 可以用于分析函数级别的 CPU 使用情况，帮助识别出具体的热点函数： ```bash perf top ``` 此外，`strace` 可以用于跟踪系统调用和信号，帮助识别出进程在内核态的资源消耗情况： ```bash strace -p <PID> ``` #### 6. 优化和处理高 CPU 使用率问题 一旦确定了导致 CPU 使用率异常的进程或操作，可以采取以下措施进行优化： - **代码优化**：检查是否存在死循环、递归调用、频繁的锁竞争等问题，并进行优化。 - **资源限制**：为关键服务设置 CPU 使用率上限，防止某个服务占用全部 CPU 资源。 - **负载均衡**：将高负载的服务拆分到多个实例上，通过负载均衡技术分摊压力。 - **异步处理**：将耗时操作异步化，避免阻塞主线程或主进程。 - **数据库优化**：优化慢查询、添加合适的索引、调整数据库配置等。 ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值