记一次服务器负载飙高排查过程

最新推荐文章于 2025-07-22 11:24:08 发布
原创 最新推荐文章于 2025-07-22 11:24:08 发布 · 1.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#运维 #linux #cpu #服务器 #内存泄漏

记一次服务器负载飙高排查过程

问题描述

在前天呢，我们公司的三台部署着php项目的线上服务器A、B、C，其中一台服务器A出现了CPU负载飙高，与其他两台服务器相差好几倍，并且在前天之前都没有出现过这么高的情况，所以需要针对问题进行排查
A服务器负载异常第一天
A服务负载异常第二天

排查过程

首先第一件事，找日志，看看异常的时候到底在干什么，找到服务器top日志，找到对应负载上升和下降的连续时间的日志（下面截图已做处理）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上面三个截图对应的是第一个负载图顶点附近的日志，可以看到，28688这个进程占用了大量的CPU

继续查看日志，A服务器在第二天负载突增的时间点，也是这个28688，截图我就不放了，那看起来就是这个进程的原因？

遗憾的是，这个28688的进程是一个监控程序，运维在几

最低0.47元/天 解锁文章
ye_xiao_dong
关注
记录一次服务器内存使用率过高达到90%告警问题排查。
阿木木AEcru的博客
03-15 4784
一大早就有一个电话过来:“你快看看，这台服务器怎么一直在告警，90%的使用率，一直下不去”。作为牛马的我立马就起身了，心里想:我也不是专业运维啊，啥事都来找我。抱着试一试的心态就上了堡垒机看那下。
Linux高负载排查最佳实践
小胡子
03-01 1073
Linux高负载排查最佳实践
关于服务器负载过高排查
qq_42727102的博客
06-23 1509
背景：在公司沙箱环境下，top~，发现一个命令占用 cpu 接近 100% 排查： top：得到哪个命令占 cpu 高 ps -ef | grep “xxx” 筛选出这个命令，得到其进程号 top -p 定位到此进程的线程 pstack 进程号 | grep 线程号 定位问题所在 最后：排查出来是后台代码问题~~mq无数据，重复取 ...
php-cgi进程占用cpu资源过多负载高的原因分析及解决步骤
老张的自言自语
01-14 2955
服务器环境：redhat linux 5.5 , nginx ,  phpfastcgi   在此环境下，一般php-cgi运行是非常稳定的，但也遇到过php-cgi占用太多cpu资源而导致服务器响应过慢，我所遇到的php-cgi进程占用cpu资源过多的原因有：   1. 一些php的扩展与php版本兼容存在问题，实践证明 eAccelerater与某些php版本兼容存在问题，具体表现时启...
Linux服务器中高负载现象故障排查指南
jiangjunlanzhoulan的博客
08-01 605
服务器高负载因何而起？ 下列项目的过度使用会直接导致高负载问题： CPU 内存（包括虚拟内存） 磁盘I/O 该如何检查这些项目？ 这取决于大家是要审查当前资源使用情况还是历史资源使用情况。当然，在本文中我们将从这两方面进行探讨。 关于sar的简要说明 历史资源使用情况可通过sar工具查看，该工具在默认情况下应该通过sysstat软件包安装在所有cPanel服务器当中。只要通过cron...
服务器负载分析及问题排查
醒 木
11-08 2924
序言 平常的工作中，在衡量服务器的性能时，经常会涉及到几个指标，load、cpu、mem、qps、rt等。每个指标都有其独特的意义，很多时候在线上出现问题时，往往会伴随着某些指标的异常。大部分情况下，在问题发生之前，某些指标就会提前有异常显示。 对于这些指标的理解和查看、异常解决等，是程序员们重要的必备技能。本文，主要来介绍一下一个比较重要的指标——机器负载（Load），主要涉及负载的定义、查看负载方式、负载飙高排查思路等。 什么是负载 In UNIX computing, the system load
一次因Java应用造成CPU过高的排查实践过程
08-26
本文将深入探讨一次由于Java应用导致CPU占用过高的排查实践过程。 首先，当发现应用CPU使用率异常时，第一步是确认是否真的是计算密集型任务导致的。在大多数情况下，CPU高负荷往往是由于程序中的逻辑错误，如死...
一次详尽的问题定位记录：CPU使用率低负载高的排查过程
qianlia的博客
06-02 3708
历史原因，当前有一个服务专门用于处理mq消息，mq使用的阿里云rocketmq，sdk版本1.2.6（2016年）。 随着业务的发展，该应用上的consumer越来越多，接近200+，导致该应用所在的ecs长时间load高，频繁报警。 现象分析 该应用所在的ecs服务器load长期飙高（该ecs上只有一个服务），但cpu、io、内存等资源利用率较低，系统负载参考下图： ECS配置：4核8G 物理cpu个数=4 单个物理CPU中核（core）的个数=1 单核多处理器 在系统负荷方面，多核CPU与多CPU效
记一次Dubbo超时&CPU高负载问题排查
jiajun2905的博客
05-04 2321
记一次Dubbo超时&CPU高负载问题排查 1.问题背景 最近经常有同事反馈我们灰度环境老的交易系统，这里简称trade，dubbo消费者调用其他服务超时，因为该项目维护人员众多，加上灰度环境发布较多，一直没有排查，然后五一前再次有同事反馈这个问题，刚好有空就准备分析一下引起超时的原因。 2.问题排查 2-1 问题描述 大量Dubbo服务调用超时 2-2 问题排查 查看日志（上图）发现du...
如何排查服务器 CPU 飙高
最新发布
qq_44431362的博客
07-22 1588
服务器 CPU 飙高（CPU 使用率持续超过 80% 甚至接近 100%）是典型的性能瓶颈问题，可能由引起。以下是系统化的排查步骤，覆盖从现象确认到根因定位的全流程。
线上服务 CPU 负载过高问题排查
Senn · 森
10-12 1643
CPU 负载过高，在开发过程中每个人都或多或少遇到，在系统未部署正式环境时，看日志或打断点总会有办法解决掉。但总有些BUG的出现会给你意外惊喜，即使已在测试环境做了尽可能多的测试，依旧无法避免，其中有一种就是服务器CUP突然异常负载过高。本文重点叙述在线上环境排查该问题思路。 定位问题服务 CPU 负载过高，给用户的直观感受就是服务卡顿，响应时间边长，甚至严重一点整个服务网页崩溃，无法工作。特别是我们目前基于容器的部署并没有设置容器最大可用CPU数，整个服务器也没有部署系统资源监控时，这种问题一旦发生，就会
php-fpm CPU占用率过高的排查方法
weixin_33861800的博客
12-25 1520
2019独角兽企业重金招聘Python工程师标准>>> ...
如果发现服务器负载压力大可以看以下的日志
weixin_33898233的博客
05-11 219
/var/log/btmp 记录错误的登陆尝试，执行lastb命令或者 last -f /var/log/btmp 查看不成功的登陆尝试。/var/log/utmp 登陆和退出记录 由last 命令读取。即 last | less /var/run/utmp 记录当前登陆进系统的各个用户， 由who 命令读取。/var/log/secure ： linux 系统的安全日志， 记录用户登陆...
排查PHP服务器CPU占用率高的问题
whf1215847706的专栏
10-24 1971
监控PHP-FPM或Web服务器的性能指标：比如查看PHP-FPM的children数量是否足够，或者Apache的max_clients是否已满，这些都可能是导致CPU高的原因。使用xdebug和valgrind：如果你的PHP环境支持这些工具，可以使用它们来分析代码的执行情况，找出占用CPU高的原因。分析慢查询：如果你的PHP应用记录了请求的执行时间，可以找到执行时间最长的查询或代码段，这可能是导致CPU高的原因。使用top或htop命令：这些命令可以实时显示服务器上各个进程的CPU和内存使用情况。
php 查看cpu占用率_php-fpm CPU占用率过高的排查方法
weixin_36149595的博客
03-08 1562
一,开启日志记录,为以后排查做准备1.1 开启php-fpm.conf的错误日志和慢执行日志和常规日志, 采样一个小时,就可以根据这些日志的内容进行分析问题error_log = /tmp/error.log //错误日志access.log = /tmp/access.$pool.log //常规日志,记录每次访问时间,记录不同参数,以防止恶意攻击,后面会详细解析access.format = ...
php-fpm CPU占用率过高的排查方法【转】
hyb1234hi的专栏
05-29 8648
转自http://www.xiaoxiaoliang.com/?p=235 一,开启日志记录,为以后排查做准备 1.1 开启php-fpm.conf的错误日志和慢执行日志和常规日志, 采样一个小时,就可以根据这些日志的内容进行分析问题 error_log = /tmp/error.log //错误日志 access.log = /tmp/access.$pool.log //常规日志,记录每次...
linux php 内存高 排查,查找linux下进程占用CPU过高的原因，以php-fpm为例
weixin_39831039的博客
03-09 851
很多时候，线上服务器的进程在某时间段内长时间占用CPU过高，为了优化，我们需要找出原因。1、找出占用CPU最高的10个进程ps aux | sort -k3nr | head -n 10或查看占用内存最高的10个进程ps aux | sort -k4nr | head -n 10或者使用 top ，按 1 显示CPU列表，再按 shift+p 以CPU排序top2、对进程进行跟踪查看查看进程打开的...
php服务器 负载,php服务器CPU负载过高故障解决
weixin_39612122的博客
03-11 994
今天接到问题，服务器跑一段时间总是cpu使用量突然增大，然后就不能连接了。突然增大情况无规律。通过查看平时服务器运行正常，CPU、内存和IO用量都不高，日志报警大致信息如下：[WARNING] fpm_stdio_child_said(), line 167: child 30951 (pool default) said into stderr:….. [ERROR] fpm_unix_init...
cpu飙高怎么排查
07-20
### CPU 使用率过高问题排查与解决 当系统出现 CPU 使用率过高的问题时，通常需要结合系统监控工具与线程级分析手段进行定位。排查过程中，应重点关注用户态（user）、系统态（system）和进程/线程的 CPU 占用情况，以区分是应用逻辑问题、系统调用问题还是资源竞争导致的高负载。 #### 系统级排查 使用 `top` 命令可以快速识别 CPU 使用率较高的进程，具体操作如下： ```shell top ``` 在输出结果中找到 CPU 使用率较高的进程 PID。如果发现 system 占用率过高，而系统中存在大量 IO 操作（如文件服务器、数据库服务器），则可能是 IO 密集型任务导致。若 system 占比持续较高（例如超过 20%）且无明显 IO 活动，则可能涉及内核或驱动模块异常 [^1]。 #### 进程与线程级排查 找到高 CPU 使用率的进程后，进一步分析其内部线程的执行情况。使用以下命令查看具体线程的 CPU 占用情况： ```shell ps H -eo pid,tid,%cpu | grep <PID> ``` 随后将线程 ID（TID）转换为十六进制格式，以便与 `jstack` 输出匹配： ```shell printf '%x' <TID> ``` 最后使用 `jstack` 查看线程堆栈信息，结合十六进制线程 ID 进行定位： ```shell jstack <PID> | grep <HEX_TID> -A100 ``` 此方法可识别具体是哪个方法或代码段导致了 CPU 使用率的异常升高 [^2]。 #### 日志与性能分析工具辅助 除了命令行工具外，还可以借助 APM（应用性能管理）工具如 SkyWalking、Pinpoint 或 JProfiler 等对线程执行路径、方法调用耗时进行可视化分析。这些工具能够提供更直观的性能瓶颈定位。 #### 常见问题与优化方向 - **线程死循环或频繁 GC**：线程中存在无限循环或资源泄漏可能导致 CPU 持续高负载。 - **同步竞争**：多个线程频繁争夺锁资源可能导致大量上下文切换和阻塞。 - **算法复杂度过高**：不合理的算法实现可能导致计算密集型操作持续占用 CPU。 - **外部调用阻塞**：频繁调用外部服务或数据库操作未合理异步化也可能间接导致 CPU 负载升高。 优化建议包括重构热点代码、引入缓存机制、合理使用线程池、减少锁粒度、避免不必要的同步操作等。 ---
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值