系统查问题的方法

系统查问题的方法

线上经常出现的就是几大特点：网络为何丢包，load为何飙升，cpu利用率为何很高等。问题大类不多，但是要对应的细节却是很多，这里仅写基本的调查第一要素。

其实，自身企业的监控是非常重要的，粒度和纬度的控制决定了后面的优化点和思路。

一、用proc

proc文件系统是主要用来查看排查进程出现的相关问题。数据由内核产生，应用层在/proc/下进行查看。如果监控不健全的情况下，可以不用完全依赖内核本身，我们可以自行添加模块，并在各个需要做监控的地方加入探测点，用法同systemtap一样。但是性能问题需要考虑

二、用top

top可以查看cpu利用率、load高低、swap/内存等，但是此类方法需要考虑一点统计方式是否可信赖，是否足够精确。就像法律里面一样只能做依据，但是不能做证据。

三、用perf

1. perf监听事件。 -e表示需要查看的寄存器事件和掩码，-C表示查看的core，-i表示时间粒度。

 perf stat -e cpu/event=0xC7,umask=0x3F/ -C 16-31,48-63 -I 1000

2. 查看重要的instruction (IPS)等

perf stat -e cycles,instructions

3. 查延迟

perf sched record sleep 10
perf sched latency | grep <进程名字>

四、用cgroup

cgroup查vm系列等问题有效，关注cpu绑定的核，是否有影响，batch进程和线上进程是否共享。

1. 限制某进程运行在16-31,48-63的core上。

echo 16-31,48-63 > cpuset.cpus