日志导致的io负载高和cpu飙升问题

原创 已于 2023-10-07 14:36:13 修改 · 867 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#性能 #IO #CPU #压测

于 2023-10-07 14:23:17 首次发布
文章讲述了项目上线前对查询接口性能测试中遇到的问题，经过分析发现瓶颈在于写入日志和Kafka日志推送。通过调整策略，关闭不必要的日志并优化Kafka组件，最终提升了吞吐量。

1.问题

      项目上线前需要对接口进行性能测试，发现有2个查询接口性能始终达不到上线要求

image.png

2.分析过程

取线程快照

打印线程堆栈日志：

通过上面发现54个线程处于 waiting on condition 状态，在等待写入磁盘日志，所以断定瓶颈在写入日志io这块所以将日志打印关闭，再部署一版试试。

部署后发现，吞吐量上不去还是400，

image.png

查看cpu和io情况，发现io已经正常，cpu还是很高

image.png

image.png

image.png

继续打印线程堆栈日志：

通过以上发现有线程阻塞现象，Blocked on object monitor 这段代码是日志推送kafka，在等待对象锁

继续关闭日志推送kfka，继续观察

image.png

发现吞吐量达到了4000+

3.解决

1.关闭线上日志，仅保留报错日志。重新优化kfka日志推送组件，优化加密逻辑

4.参考文档

1、Linux的vmstat命令_linux vmstat命令找不到_Simple_Demo的博客-优快云博客

2、Linux的iostat命令-优快云博客

排查分析cpu飙到200%问题（log4j2+kafka日志输出导致）
iMChenJiaMing的博客
09-23 4083
前言：本文主要介绍排查分析Java应用log4j2+kafka日志输出导致cpu飙到200%问题的过程。 备注：因为排查问题时没有记录到对应每个步骤的截图，所以下面部分图片是解决问题后，在正常的机器环境下截取的。 1、使用 top 命令，查看占用cpu高的进程pid。出现问题时，可以看到%CPU列显示大于100%。PID为进程ID。 2、使用 ps -mp PID-o THREAD,tid,time | sort -rn 命令，查找进程对应的线程ID，并查找出对应的占用CPU时间。当时故障现..
一个迷惑性很高的生产故障-Elasticsearch日志rotate导致节点CPU激增
qq_33999844的博客
07-23 2023
Elasticsearch CPU很高的场景很常见，优化读写以及扩容即可解决问题。 如果只有一个节点CPU高，那可能的情况就比较多了，节点机器异常？读写不均匀？GC过高？forcemerge？ 这里描述一个极具迷惑性的case。...
Spring Boot日志写入过重导致业务线程阻塞的性能调优方法
最新发布
weixin_41455464的博客
11-18 525
Spring Boot 日志写入过重导致业务线程阻塞是一个常见的问题，但是通过合理的分析和优化，可以有效地解决这个问题。本次讨论涵盖了多种优化策略，包括异步日志、调整日志级别、优化日志格式、批量写入、使用更快的存储介质、使用专门的日志收集系统等。选择哪种策略取决于具体的应用场景和性能需求。建议在生产环境中始终开启异步日志，并根据实际情况调整异步队列的大小和丢弃策略。此外，定期审查日志级别和日志格式，避免输出不必要的日志。
【性能优化】记录一次由于文件io过高导致cpu占用过高的bug（一）
qq_35824590的博客
01-04 1092
之所以第二种方法会降低cpu的占用是因为：第二种方法（使用缓冲的版本）使用了缓冲输出流（BufferedOutputStream），这有助于减少磁盘IO操作的次数。缓冲输出流会在内存中缓存数据，直到一定数量的数据被写入或直到缓冲区被刷新到磁盘，这样可以减少对磁盘的直接写操作，从而提高性能。由于减少了磁盘IO操作，CPU的占用率可能会降低，因为CPU不必等待磁盘操作完成。
ERROR日志打印导致CPU满载
祈雨v的博客
09-30 3607
描述 开发环境对一台测试节点进行压测时，由于参数配置错误导致请求没有业务处理直接报错。随即停止压测后登录测试机器排查日志，以外发现虽然已经没有请求到该节点，但应用依然在打印错误日志，并且看日志时间是在打印几分钟前请求的日志。 第一反应是异步打印的日志出现堆积，于是查看了该应用所在节点的物理资源，发现CPU已经满荷载，以及JVM触发了多次Full GC和OOM。 分析 复现 该节点重启后，以50TPS的速率故意发起错误请求的压测，果然稳定复现CPU满载的问题，因此盲猜是因为CPU满载导致异步日志打印速率慢，生
IO负载高的来源定位
MiltonZhong
07-10 1765
前言： 在一般运维工作中经常会遇到这么一个场景，服务器的IO负载很高（iostat中的util），但是无法快速的定位到IO负载的来源进程和来源文件导致无法进行相应的策略来解决问题。 这个现象在MySQL上更为常见，... 前言： 在一般运维工作中经常会遇到这么一个场景，服务器的IO负载很高（iostat中的util），但是无法快速的定位到IO负载的来源进程和来源文件导致无法进行相应的策略来
cpu利用率高、负载也很高的情况
10-13
因此，在短时间内观察到CPU利用率高和负载高同时出现。 3. **混合型（R和D状态共存）**：系统同时存在大量R状态进程和D状态进程。R状态进程占用CPU，使利用率高；D状态进程在等待I/O，计入负载，使负载高。例如，一...
线上问题排查思路总结
u014753478的博客
05-27 2664
前言： 本文总结一些常见的线上问题和对应的排查思路，工具。对于线上问题，我们必须记住一个原则：尽快恢复服务，消除影响。不管出于应急的哪个阶段，我们首先必须想到的是恢复问题，恢复问题并不意味着必须在当下定位到问题。在大多数情况下，我们都是先恢复服务，尽可能多的保留当时的异常信息(内存dump，线程dump，gc log等)，等到服务正常，再去复盘问题。下面描述几个经常会遇到的线上紧急问题。 常用的命令工具总结 1. top 命令 -H :Threads-mode operation In
【嵌入式调试进阶秘籍】：断点设置不当引发系统崩溃的5个真实案例解析
例如，在指令替换型软件断点中，调试器会临时修改Flash或内存中的操作码，若发生在关键路径（如中断向量表或DMA传输区），则可能导致系统崩溃或数据损坏。此外，缺乏可视化运行时上下文使得问题定位复杂化。因此，...
JSON处理太慢？破解ESP32序列化瓶颈的3种高效优化方法
!...# 1. ESP32序列化性能瓶颈的根源分析 在ESP32开发中，序列化操作常成为系统性能的...典型表现为：频繁的动态内存分配引发堆碎片、字符串拼接带来的CPU占用飙升，以及JSON文本格式固有的解析开销。通过`micros()`计
GPU指令自定义加速绘图：利用ESP32-S3 GDI模块提升渲染速度的黑科技
该技术不仅显著降低CPU负载，还提升了渲染效率与能效比，尤其适用于ESP32-S3等资源受限但具备GDI硬件模块的MCU平台。自定义指令与GDI协同工作，为高性能嵌入式UI提供了全新的优化路径。 # 2. ESP32-S3平台与GDI模块...
【线上】高网络IO引起的CPU负载问题
master-dragon的专栏
03-10 2237
gc log截图部分如下 当时是收到了cat心跳告警，当时的一些现场 系统负载飙高 gc & 线程 Falcon查看机器的cpu,io情况 磁盘IO 网络IO飙高，CPU负载也飙高 原因 机器是8C12G的 当时是开了400个线程在消费一个有400个partition的topic数据 jvm设置如下： -Xms8G -Xmx8G -Xss512K -XX:+UseG1G...
【性能优化】记录一次由于文件io过高导致cpu占用过高的bug（二）关于底层
qq_35824590的博客
01-13 1233
写文件，要最好使用缓冲流式的写入。这样子会减少文件描述符的读取。磁盘的随机访问，内核的切换。
为什么IO会导致CPU使用率飙升
神棍之路
01-31 5203
因此，服务器的IO高会导致CPU飙升，影响系统的性能和稳定性。为了避免这种情况，可以采用一些优化措施，比如使用异步IO、IO多路复用、缓存、批量处理等。Linux IO优化是一个涉及多个层面的问题，包括应用程序优化，文件系统优化，磁盘优化，IO调度器优化等。
性能测试-CPU性能分析，IO密集导致系统负载高
测试工程师
11-21 1387
vmstat：swpd虚拟内存（交换分区）有数据，free空闲内存变小，buff缓冲区域有数据，cache缓冲缓冲使用增大，si,so有数据变化，bi,bo数据读写有明显的数据量，in，cs有明显变化，cs要比in大很多。iostat：await有数据，有磁盘等待，r/s，w/s，rkB/s，wkB/s，avgrq-sz avgqu-sz，r_await ，w_await都有数据。通过pidstat命令，针对分析：cswch自愿上下文切换的数据明显比，非自愿上下文切换的数要大得多。
CPU平均负载过高检查（iowait负载高）
热门推荐
settng style
06-23 1万+
简单介绍了怎么测试CPU负载和CPU负载过高好如何检测
【io】io等待为什么引发cpu过高?
michaelwoshi的博客
02-11 8312
磁盘读频繁，数据量大 ---> iowait高 ---> CPU飙升 IO（input output）主要指：文件IO，网络IO。 “等待IO就绪“究竟等的什么？ 你一定不止在一个地方看到类似"cpu等待IO就绪，线程挂起..."的描述，不知你有没有想过CPU到底在等待个啥，等待个寂寞吗？为什么CPU要等待呢？CPU不能参与吗？ 首先，cpu有两种状态，用户态和内核态，cpu会根据需要在两种状态之间切换。 用户态和内核态的cpu有什么区...
io等待为什么引发cpu过高_搞懂IO(二)
weixin_36301419的博客
12-11 5232
之前写过一篇《搞懂IO》，这篇算是对上一篇的补充吧。我们已经知道高级程序设计语言上的IO实际上依赖底层操作系统，可以说它是操作系统层面上的一个抽象吧。想想平时程序都部署在什么服务器上，可能是在linux，可能是在windows...不管怎样，别担心，既然是抽象，肯定支持刚才说的操作系统。基于更常见的是部署在linux系统，待会不得不说说linux下IO的五个模型。“等待IO就绪“究...
cpu负载高和cpu可用内存之间有什么关系
08-12
<think>我们讨论的是CPU负载高和CPU可用内存之间的关系。注意，虽然问题中提到了“CPU可用内存”，但内存通常不称为“CPU可用内存”，而是系统可用内存。这里可能是指与CPU相关的内存使用情况，或者系统可用内存。我们理解为系统可用内存。 CPU负载高和系统可用内存之间的关系可以从以下几个方面分析： 1. **直接关系**： - CPU负载（Load Average）表示系统在特定时间间隔内处于可运行状态（正在运行或等待运行）的进程平均数。它主要反映CPU的繁忙程度，而内存反映的是系统内存的使用情况。 - 两者没有直接必然联系：CPU负载高可能是因为计算密集型任务，而内存充足；反之，内存不足时可能因为频繁的页面交换（swap）导致CPU负载升高。 2. **间接关系（内存不足导致CPU负载升高）**： - 当系统可用内存不足时，内核会进行内存回收（如kswapd进程活动增加），包括页面回收、交换（swap）等操作。这些操作会消耗CPU资源，从而导致CPU负载升高。 - 特别是当系统开始使用交换空间（swap）时，频繁的页面换入换出（swap in/out）会导致大量的I/O等待，进而增加CPU的I/O等待时间（wa状态），从而表现为负载升高。 3. **其他情况**： - 如果系统有充足的内存，但CPU负载高，这通常是由于进程本身需要大量计算（如科学计算、编译等）导致的，与内存关系不大。 - 但是，如果程序需要频繁访问大量内存，而内存充足，则不会导致额外的磁盘I/O，因此不会因为内存问题增加CPU负载。反之，如果内存不足，则会导致缺页中断（page fault）增加，进而引发磁盘I/O，使得CPU在I/O等待上花费更多时间。 4. **监控指标**： - 使用`top`或`vmstat`等工具可以同时观察CPU负载（load average）和内存使用情况（free/buffers/cache, swap等）。 - 当内存不足时，通常伴随以下现象： - 较高的`si`（swap in）和`so`（swap out）值（在`vmstat`中）。 - 较高的`wa`（I/O等待）百分比（在`top`中）。 - 可用内存（available）持续偏低。 总结：CPU负载高和可用内存之间没有直接关系，但内存不足可能间接导致CPU负载升高，主要原因是内存回收和交换操作增加了CPU的工作负担。 §§相关问题§§ 1. 如何区分CPU负载高是由计算密集型任务还是内存不足引起的？ 2. 在Linux系统中，有哪些命令可以同时监控CPU负载和内存使用情况？ 3. 当内存不足导致CPU负载升高时，应该如何优化系统？ 4. 什么是I/O等待（wa）？它与内存不足有什么关系？ 5. 如何配置交换空间（swap）以减少因内存不足对CPU负载的影响？</think>CPU负载高与CPU可用内存之间没有直接因果关系，但存在间接关联和相互影响机制： ### 核心关系分析 1. **独立运作机制** - **CPU负载**：反映处理器任务队列长度（运行中+等待进程数），主要受计算密集型任务影响 - **可用内存**：指未被占用的物理内存，由应用内存需求决定 *两者本质上是独立资源指标* 2. **间接影响路径** - **内存不足 → CPU负载升高** - 当可用内存过低时触发频繁的**页面回收**（kswapd进程活跃） - 引发大量**磁盘I/O**（交换匿名页/回写文件页） - 导致CPU陷入I/O等待状态（`%wa`升高） ```bash # 典型症状（vmstat示例） procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 3 12 81428 3840 320 90124 0 15 1024 2048 890 1200 10 15 0 75 0 # ↑ wa(I/O等待)高达75% ↑ ``` - **CPU高负载 → 内存压力** - 计算密集型任务加速内存分配（如科学计算） - 高并发服务创建大量进程/线程（每个消耗栈空间） - JVM等运行时在CPU繁忙时延迟GC，导致内存堆积 3. **临界点现象** - 当可用内存低于**低水印阈值**时： - 直接回收机制激活（`direct reclaim`） - 进程可能因分配内存被阻塞（`D`状态） - CPU需处理回收中断，加剧负载 ### 诊断工具关联 | 指标 | 内存不足影响 | CPU高负载影响 | |--------------|-----------------------------|----------------------------| | **vmstat** | `si/so`(交换)升高 | `r`(运行队列) > CPU核数 | | **top** | `Mem avail`极低 + `S`列`D`状态进程 | `%wa`高 + `load average` >5 | | **sar** | `pgscank/pgsteal`激增 | `%user/%sys`持续高位 | ### 优化方向 - **内存不足导致CPU负载高**： 增加物理内存 → 调整`swappiness` → 优化应用内存使用 - **CPU高负载引发内存压力**： 扩展CPU资源 → 优化算法复杂度 → 限制进程并发数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值