<think>我们正在讨论的是
服务器负载高但CPU使用率低的
原因。根据引用[1]和引用[2]提供的线索，我们知道
负载（Load Average）表示的是处于可运行状态（R）和不可中断状态（D）的平均进程数。因此，
高负载不一定意味着CPU使用率
高，还可能是其他资源争用导致的。
结合引用内容，我们可以总结出以下几个主要
原因：
1. I/O瓶颈（磁盘或网络）：当进程因为等待I/O（如磁盘读写或网络传输）而处于不可中断睡眠状态（D状态）时，会导致
负载升
高，但此时CPU可能因为等待I/O而闲置，因此使用率不
高。
2. 内存不足导致频繁交换（swap）：当物理内存不足时，系统会使用swap空间，导致大量的磁盘I/O，进程会因为等待内存页面交换而处于D状态，同样增加
负载但CPU使用率低。
3. 僵死进程（Z状态）或不可中断进程（D状态）：引用[2]提到，可以通过`ps -axjf`查看是否存在D状态进程（不可中断的睡眠状态）。这些进程通常是因为在等待I/O操作完成，它们会贡献到
负载平均值中，但不消耗CPU。
4. 锁争用：进程可能因为等待锁（如文件锁、内核锁等）而阻塞，导致
负载升
高。
接下来，我们按照步骤来排查：
### 步骤1: 确认
负载和CPU使用率
使用`top`命令查看
负载（Load Average）和CPU使用率（%Cpu(s)行）：
-
负载平均值：1分钟、5分钟、15分钟的值，如果这些值远
高于CPU核心数，则
负载高。
- CPU使用率：如果`%id`（空闲）很
高，而`%wa`（I/O等待）也很
高，则说明CPU在等待I/O。
### 步骤2: 检查I/O等待
在`top`的输出中，看`%wa`（wa）的值。如果这个值很
高（例如超过30%），说明I/O等待是导致
负载高的
原因。
### 步骤3: 检查内存和交换
使用`free -m`查看内存使用情况，特别是交换空间（swap）的使用。如果`si`（每秒从磁盘交换到内存的数据量）和`so`（每秒从内存交换到磁盘的数据量）的值很
高（通过`vmstat 1`查看），说明内存不足。
### 步骤4: 检查进程状态
使用`ps`命令查看进程状态：
```bash
ps -eo pid,ppid,stat,user,comm,args,wchan
```
重点关注状态为`D`（不可中断睡眠）和`Z`（僵死）的进程。`D`状态进程通常是导致
负载高但CPU使用率低的直接
原因。
### 步骤5: 使用`iostat`检查磁盘I/O
如果怀疑是磁盘I/O问题，使用`iostat -x 1`查看各个磁盘的利用率（`%util`）和等待时间（`await`）。如果某个磁盘的`%util`接近100%，说明该磁盘已经是瓶颈。
### 步骤6: 使用`dstat`综合查看
`dstat`是一个多功能工具，可以同时查看CPU、磁盘、网络、内存等使用情况：
```bash
dstat -tcmsdn
```
### 总结
原因
根据上述步骤，我们可以归纳
服务器负载高但CPU使用率低的
原因如下：
1. **I/O瓶颈（磁盘或网络）**：进程因等待I/O操作而阻塞（D状态）[^1][^2]。
2. **内存不足引起频繁交换**：物理内存不足导致频繁使用交换空间（swap），产生大量磁盘I/O[^1]。
3. **大量不可中断进程（D状态）**：如正在进行大规模文件读写或网络传输的进程[^2]。
4. **锁争用**：进程因等待锁而阻塞，例如数据库锁、文件锁等。
5. **僵死进程（Z状态）**：虽然僵死进程本身不消耗资源，但过多的僵死进程可能影响系统性能（但通常不会直接导致
高负载，所以不是主要
原因）。
### 解决方法建议
- **I/O瓶颈**：优化磁盘使用（如使用SSD、RAID优化）、优化程序减少I/O操作、分散I/O
负载等。
- **内存不足**：增加物理内存、优化应用程序内存使用、减少不必要的进程、调整swap使用策略等。
- **D状态进程**：确定导致D状态的进程和
原因（通过`wchan`列查看等待的内核函数），然后针对性地解决（如更换硬件、调整内核参数等）。
- **锁争用**：优化程序逻辑，减少锁的竞争，使用更
高效的锁机制等。
---
§§相关问题§§
1. 如何排查磁盘I/O导致的系统
负载高？
2.
服务器内存不足会导致哪些问题？
3. 如何监控和优化
Linux系统的swap使用？
</think>###
服务器负载高但 CPU 使用率低的
原因分析与排查
#### **1. I/O 瓶颈（最常见
原因）**[^1][^2]
当进程因等待磁盘 I/O 进入 **不可中断状态（D 状态）** 时：
- 这些进程计入
负载平均值（Load Average）
- 但不消耗 CPU 资源
- 典型表现：`vmstat` 显示 `wa > 30%` 且 `b > 0`
```bash
$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system--
r b swpd free buff cache si so bi bo in cs
0 8 0 18432 10240 786432 0 0 1024 2048 120 240 #
高b值+
高bi/bo
```
**排查方法**：
```bash
# 1. 查看
高 I/O 等待进程
$ pidstat -d 1
# 2. 定位磁盘热点
$ iotop
$ iostat -x 1 # 关注 %util > 70% 的磁盘
```
#### **2. 内存瓶颈**[^1][^2]
当物理内存不足引发频繁 **Swap 交换**：
- 进程因等待内存页交换进入 D 状态
-
负载升
高但 CPU 空闲（因 CPU 需等待磁盘交换）
- 典型表现：`free` 接近 0，`si/so > 0`
```bash
$ vmstat 1
procs -----------memory---------- ---swap--
r b swpd free buff cache si so
2 3 40960 1024 2048 32768 128 256 #
高si/so值
```
**排查方法**：
```bash
# 1. 检查内存使用
$ free -m
total used free
Mem: 7984 7808 176
Swap: 2048 1024 1024
# 2. 查找内存消耗大户
$ top -o %MEM
```
#### **3. 不可中断进程（D 状态）**[^2]
D 状态进程通常由以下
原因引起：
- 等待磁盘 I/O 完成（如数据库写入）
- NFS 挂载点访问超时
- 内核态阻塞操作
```bash
$ ps aux --sort=-state | grep ' D '
mysql 1234 0.0 2.1 /var/lib/mysql # 数据库进程卡在 I/O
```
**排查工具**：
```bash
# 1. 检查 D 状态进程
$ ps -eo pid,ppid,stat,cmd | grep '^[ ]*[0-9].* D '
# 2. 查看进程堆栈
$ strace -p <PID> # 观察阻塞的系统调用
```
#### **4. 锁争用问题**
进程因等待锁资源而阻塞：
- 文件锁（`flock`）
- 数据库行锁/表锁
- 应用内部锁
典型表现：`vmstat` 显示
高 `b` 值但低 `wa`
**排查方法**：
```bash
# 1. 检查内核锁统计
$ cat /proc/lock_stat
# 2. 跟踪进程状态
$ perf record -a -g sleep 10
$ perf report # 查看调用栈阻塞点
```
#### **5. 调度延迟**
当进程数远超 CPU 核心数时：
- 进程在就绪队列（`r`）长时间等待
- `vmstat` 显示
高 `r` 值但低 CPU 使用率
$$ \text{Load} = \frac{\text{就绪进程数}}{\text{CPU 核心数}} $$
若持续 > 5 表示严重队列堆积
---
### 排查流程图
```mermaid
graph TD
A[
高负载 + 低CPU] --> B{vmstat 分析}
B -->|
高 wa/b | C[I/O 瓶颈]
B -->|
高 si/so | D[内存不足]
B -->|
高 r | E[CPU 调度延迟]
B -->|
高 b + 低 wa | F[锁争用]
C --> G[使用 iotop/pidstat 定位进程]
D --> H[使用 top 按内存排序]
E --> I[检查进程数量和 CPU 核心数]
F --> J[使用 perf/strace 跟踪锁]
```
---
扫一扫
4429
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
