记一次生产环境CPU 100%排查流程

最新推荐文章于 2024-08-11 00:15:00 发布
最新推荐文章于 2024-08-11 00:15:00 发布
阅读量545 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/guokekanhai/article/details/100100432
版权
本文介绍了一套用于排查和分析CPU高负载问题的方法。包括使用top命令查找占用CPU最高的进程ID，通过top命令的附加参数查看进程内线程的CPU占用情况，利用jstack工具抓取线程堆栈信息并保存，将线程ID转换为16进制以便于在堆栈日志中定位，最后解析堆栈信息以定位问题根源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.top 查出来占用cpu最高的pid
2. top -H -p pid  查询进程中线程占用情况
3.jstack pid >> aa.log 将堆栈信息输出到文件中
4.将第二步中占用cpu高的线程id转换成16进制  printf %x pid 输出16进制
5.根据16进制pid查询aa.log对应堆栈信息具体分析问题
 

过客看海
关注
CPU占用过高故障排查实战
悦分享
11-18 277
Java 线程池以有界队列的线程池为例，当新任务提交时，如果运行的线程少于 corePoolSize，则创建新线程来处理请求。最后定位问题是在tomcat中的catalina.out控制台日志输出过大，造成磁盘空间占满，然后系统无法继续写日志，从而导致刚好dubbo服务打印的日志一直处于死锁状态，该线程陷入死循环，大量消耗cpu，最终的结果是内存溢出，杀死进程了。将控制台打印的日志给禁用掉，并限制打印日志的大小，因为我的日志里面有打印base64位的图片日志，该日志所需空间太大，所以对日志禁用及限制。
Mysql-生产环境实战经验总结
program哲学
07-22 651
本文介绍常用生产环境实战经验总结，包括资源规划、压测、故障排查等
Oracle进程导致CPU 100%的具体解决方法
03-03
本文介绍了Oracle进程导致CPU 100%的具体解决方法。
记录一次生产环境JVM调优的过程
泛音青年的博客
07-16 403
1、起因： 系统运行了一个单机版的Flink，一直处于重启的状态，手动进行重启后，运行几分钟任务全挂了，不停进行Restart重试提交，陷入死循环，排查是因为TaskManage挂掉了，在对jobmanager.heap.size和taskmanager.heap.size进行了无数次设置后，依然会挂掉，最后发现是系统的内存已经所剩无几，只有1.4G了 2、排查过程 排查其他的进程发现，很多模块的JVM参数设置过于偏高，如下图，Xms堆内存设置了2048m，我们不能盲目的去修改这个值，所以决定结合
记一次生产环境CPU100%排查和性能优化
Mieandu的专栏
04-28 969
前几天中午快吃饭的时候，运营突然和我们说后台管理系统瘫痪了（/(ㄒoㄒ)/~~这还让不让人吃饭了）。不过还好只是后管，不然压力陡增啊。赶紧上服务器瞅一下是怎么回事，发现CPU满载了，这是什么情况，后台一般没什么大计算量的工作，怎么会突然满载了呢。 运行环境 操作系统：Centos 6.8 应用服务：Tomcat8 语言：Java 问题排查 赶紧把CPU满载排查流程走一遍 1.使用jstack &g...
记一次生产环境踩过的坑
m0_43584016的博客
03-31 290
欢迎访问个人博客 德鲁大叔撸代码 今天，自己负责开发的对账系统终于要上线了。 激动又紧张！！ 激动什么？完全个人开发的项目第一次走上线流程，甚是激动啊！ 紧张什么？对呀，就是因为第一次上线，所以怕出现什么不可预测的问题，毕竟公司会把上线成功率当做有个绩效考核标准之一啊。 经过仔细的准备配置文件、任务调度和mq相关的配置，终于可以安全上线了。当自己的项目发布成功的时候，心里所有悬着的担忧可以落地了。...
生产环境CPU100%排查步骤
u010045996的专栏
06-02 648
一个应用占用CPU很高，除了确实是计算密集型应用之外，通常原因都是出现了死循环。 以我们最近出现的一个实际故障为例，介绍怎么定位和解决这类问题。 根据top命令，发现PID为28555的Java进程占用CPU高达200%，出现故障。 通过ps aux | grep PID命令，可以进一步确定是tomcat进程出现了问题。但是，怎么定位到具体线程或者代码呢？ 首先显示线程列表: ps -mp pid -o THREAD,tid,time 找到了耗时最高的线程28802，占用CPU时间快两个
node进程cpu 100%问题排查
热门推荐
小喽喽
11-13 1万+
nodejs 内存泄漏，cpu100%问题追踪一次线上事故新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一次...
MySQL故障排查与生产环境优化
Linux运维老纪的博客
08-11 1000
故障排查和生产环境优化是一个复杂的过程，涉及多个方面，包括硬件、软件配置、查询优化等本章将详细介绍MySQL故障排查和生产环境·优化。
一次生产环境P0级事故分析
m0_71777195的博客
10-11 856
人的习惯就是这样，第一印象把问题都会甩给“异常输出的平台”，所以这个事件基本上由我们软件平台全部背锅了，我们事后还写了很大一份“事故总结报告”，各种“保证书”等等。事件总结工艺流程不规范，有现场操作的工艺流程，比如在不该操作的时候进行操作；质量管理流程不规范，比如代码审计不足，环境模拟不充分(模糊查询问题，公司只有几千条数据)，公司没有搭建负载均衡环境测试等等；分析设计不充分，比如模糊查询的问题。老系统日志系统比较欠缺，很多问题都是靠人工查看控制台或者翻阅本地log4j日志，也浪费了大量的时间。
记一次生产环境死锁问题
eternity_zzy的博客
07-07 361
insert into table (shop_id, homework_status, content_id, `index`, homework_type, creator_id, prepare_homework_time_point, proceed_time_point, finished_time_point,creator_name, updated_at, created_at) values (10013,'0',9352,1,'0',412,null,null,null,'test','
java生产环境CPU100%排查的一般套路
龍的天空
03-15 518
最近面试的时候面试题都有问到这个问题，所以这个问题还是比较属于高频面试题的。 1.查出消耗cpu最高的进程PID：执行top -c命令，列出进程运行信息表，再按下P,进程就会按照cpu使用率从高到低排序。记录下CPU使用率最高的PID。 2.根据第一步所得的PID查出消耗cpu最高的线程号，执行命令：top -Hp 进程号（PID）;列出该进程下的线程运行信息列表，再按下P,线程就会按照cpu...
1、与 CPU、 内存、 磁盘相关的命令
weixin_30610755的博客
03-19 194
查看内存、cpu、当前进程task数目，每个进程的cpu、内存使用率，用top命令。 接着，下面的进程排序： 按 P，以cpu使用率降序排列。 按M，按内存使用率降序排列； 按N, 按进程id大小降序排列； 显示信息意义： PID：进程ID，进程的唯一标识符 USER：进程所有者的实际用户名。 PR：进程的调度优先级。这个字段...
假设生产环境出现CPU占用过高，请谈谈你的分析思路和定位
郝大侠的博客
08-04 618
目的 找出引出问题的代码行！日志只能报错代码，不能解决cpu过高的问题 步骤 先用top命令找出cpu占比最高的 确定进程PID ps -ef或者jps进一步定位，得知是一个怎么样的一个后台程序惹事 ps -ef | grep 5101 5101 4063 36 08:25 pts/2 00:11:25 java club.eryastudio.test.Demo2 定位到具体线程或者...
记录一次生产CPU使用率100%问题排查
WillingGang的博客
07-03 722
问题背景 四月中旬生产环境的服务器频繁爆出cpu使用率100%的警告，起初这个业务线不是我负责，也就没有深入了解问题。后边，负责这个业务线的同事离职了，这件事就落在我这边了。然后，开始长达两个月的问题排查和解决方案制定的历程，感叹离职的同事错过了这次学习的机会！ 问题分析 在计算机上能引起cpu使用率100%的原因不外乎以下几种： 计算密集型业务，需要进行大量计算导致CPU使用率过高 死循环，代码级别的bug（这种一般在上生产环境之前就应该排查出来，要么是测试的锅，要么是测试的锅，要么是测试的锅） 内存耗
排查生产环境CPU100%问题
qq_41028058的博客
10-19 210
一、找到最耗CPU的进程 top -d 1 -c， 每秒刷新一次，显示进程运行信息列表 P，进程按照CPU使用率排序 二、找到最耗CPU线程 top -d 1 -Hp ‘进程PID’ P，线程按照CPU使用率排序 三、将进程PID转化为16进制 堆栈里，线程id是用16进制表示的。 四、查看堆栈，找到线程 jstack ‘进程PID’ | grep ‘16进制线程PID’ -C5 ...
生产环境CPU100%、FGC频繁、服务OOM排查思路总结
自律使我自由
12-25 1350
生产环境CPU100%、FGC频繁、服务OOM排查思路与具体实现
Oracle CPU打高问题排查思路
zl
01-27 659
通过系统进程排查 1.使用top命令确定进程pid 可以看到有较多会话进程消耗CPU达到100%，然后找到这些存在问题的进程查看具体信息 [oracle@ajdbosread 12.1.2]$ ps -ef | grep 432705 oracle 432705 1 87 09:28 ? 02:13:13 oraclequerydb (LOCAL=NO) 确认进程为远程连接后，使用如下SQL得到执行SQL的具体信息 2.获取执行SQL SELECT /*+ ORDERED
生产问题-Java服务CPU飙升100%问题
weixin_47493863的博客
02-06 460
Java服务CPU飙升100%解决方案
fork生产ssh
最新发布
04-01
### SSH环境下Fork操作的最佳实践 在SSH环境中处理`fork`操作以适应生产环境的需求，主要涉及以下几个方面： #### 1. 配置无密码认证 为了简化自动化流程并提高安全性，应通过公私钥对的方式完成无密码身份验证。具体做法如下： - 使用命令 `ssh-keygen -t rsa` 创建一对新的SSH密钥[^1]。 - 将生成的公钥复制到目标服务器上，通常可以通过 `ssh-copy-id user@hostname` 完成。 这样可以避免每次执行远程命令或文件传输时都需要输入密码的情况。 #### 2. 调整SSH配置参数 对于大规模并发连接场景下的性能优化以及稳定性保障，需调整客户端和服务端的相关选项。例如修改 `/etc/ssh/sshd_config` 文件中的以下字段来增强效率与可靠性： ```bash MaxStartups 10:30:60 # 控制未成功登录前允许的最大会话数比例 ClientAliveInterval 60 # 设置心跳包发送间隔时间(秒)，防止网络中断误判断线 TCPKeepAlive yes # 开启保持活动状态检测机制 UseDNS no # 关闭域名解析功能加速握手过程 ``` #### 3. 利用子进程隔离资源消耗 当需要在一个已建立好的SSH session内部发起多个独立任务时，推荐采用后台运行模式或者screen/tmux工具创建分离窗口管理各自的任务流。比如下面这段Python脚本展示了如何调用subprocess模块启动一个新的shell程序而不阻塞当前主线程逻辑： ```python import subprocess def run_task(command): process = subprocess.Popen( command, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE ) output, error = process.communicate() returncode = process.returncode if returncode != 0: raise Exception(f"Command failed with {returncode}: {error.decode('utf-8')}") run_task("your_command_here &") # 添加"&"使其进入后台执行 ``` 此方法特别适用于那些可能长时间占用计算资源的操作，如Redis实例的大规模数据导入导出作业[^2]^。 #### 4. 监控系统健康状况 由于fork行为本身可能会引发额外的内存分配需求甚至触发OOM killer杀死重要服务进程，所以实时监控整个系统的负载情况至关重要。可借助Prometheus搭配Node Exporter采集指标绘制图形界面展示趋势变化曲线图；另外也可以编写简单的Shell脚本来周期性记录关键数值以便后续分析排查问题根源所在之处。 ```bash #!/bin/bash while true; do free_mem=$(free | grep Mem | awk '{print $7}') swap_used=$(swapon --show=SIZE,FREE | tail -n +2 | awk 'BEGIN{sum=0}{sum += ($2-$3)}END{print sum}') cpu_usage=$(top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1}') echo "$(date): Free Memory=${free_mem}KB Swap Used=${swap_used}KB CPU Usage=${cpu_usage}%" sleep 5 done ``` 上述代码片段能够每五秒钟打印一次关于可用内存大小、交换空间使用量还有总体CPU利用率的信息条目出来供参考决策之用[^3]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值