机器负载-内存高如何分析

在 Linux 服务器上，如果夜莺监控报警显示机器负载和内存较高，需要系统性地排查问题。以下是一个详细的排查步骤，帮助您定位并解决问题： 

1. 确认当前系统状态

1.1 检查系统负载

使用 uptime 或 top 查看系统负载：

uptime

输出示例：

12:34:56 up 10 days,  2:15,  1 user,  load average: 2.5, 1.8, 1.2

• load average：分别表示过去 1 分钟、5 分钟、15 分钟的平均负载。如果负载值接近或超过 CPU 核心数，说明系统可能过载。

1.2 检查内存使用情况

使用 free -h 查看内存使用：

free -h

输出示例：

• used：已用内存。
• available：可用内存。如果可用内存较少，说明内存可能不足。

1.3 检查 CPU 使用情况

使用 top 或 htop 查看 CPU 使用率：

top

• 按 P 键按 CPU 使用率排序，查看占用 CPU 最高的进程。

1.4 检查磁盘 I/O

使用 iostat 或 iotop 查看磁盘 I/O：

iostat -x 1

或

iotop

• 关注 %util（磁盘利用率）和 await（I/O 等待时间），如果值较高，说明磁盘可能成为瓶颈。 

2. 排查高负载和高内存的原因

2.1 查找占用资源最多的进程

使用 ps 或 top 查找占用 CPU 和内存最多的进程：

ps aux --sort=-%cpu | head -n 10

ps aux --sort=-%mem | head -n 10

 

2.2 分析进程行为

• 如果是 Java 应用，使用 jstack 或 jmap 分析线程和内存使用：

  jstack <PID> > thread_dump.logjmap -heap <PID>

• 如果是其他应用，检查日志文件（如 /var/log/ 目录下的日志）或使用 strace 跟踪系统调用：

  strace -p <PID>

2.3 检查是否有僵尸进程

使用 ps 查找僵尸进程：

ps aux | grep 'Z'

如果有僵尸进程，需要检查其父进程并清理。

2.4 检查网络连接

使用 netstat 或 ss 查看网络连接：

netstat -tunap

或

ss -s

• 检查是否有异常连接或大量 TIME_WAIT 状态。 

3. 优化和解决问题

3.1 优化应用配置

• 调整应用的内存和线程池配置，避免资源过度占用。
• 如果是数据库应用，检查慢查询并优化索引。

3.2 释放内存

• 清理缓存：

  sync; echo 3 > /proc/sys/vm/drop_caches

• 释放不用的内存（如关闭不需要的服务）。

3.3 增加资源

• 如果资源不足，考虑升级服务器配置（如增加 CPU、内存或磁盘）。
• 如果是云服务器，可以动态调整实例规格。

3.4 优化系统参数

• 调整内核参数（如 vm.swappiness、net.core.somaxconn 等）：

  sysctl -w vm.swappiness=10

• 调整文件描述符限制：

  ulimit -n 65535

3.5 监控和告警

• 使用夜莺或其他监控工具（如 Prometheus、Grafana）持续监控系统状态。
• 设置合理的告警阈值，避免误报或漏报。 

4. 预防措施

• 定期检查系统日志和应用日志，发现潜在问题。
• 定期清理不必要的文件和进程。
• 优化应用代码和配置，避免资源浪费。
• 定期备份重要数据，防止意外丢失。 

5. 总结

排查高负载和高内存问题的步骤：

1. 确认系统状态（负载、内存、CPU、磁盘 I/O）。
2. 查找占用资源最多的进程并分析其行为。
3. 优化应用配置和系统参数。
4. 增加资源或升级硬件（如有必要）。
5. 设置监控和告警，预防问题再次发生。