Hadoop节点上负载过高的问题分析

背景

最近发现我们的hadoop集群的客户端机器负载经常飙到几百，导致机器反应很慢， 客户反应无法提交job，或者job跑的很慢。

针对这种情况通常有几个解决方案，一个是增加客户端机器数量，把他们做到一个pool里面，根据系统负载情况来自动切换不同的客户端机器，也叫负载均衡这个我们已经做到了；一个是找出负载高的根源，因为如此高的负载是很不寻常的表现，通常是因为系统参数不对或者应用程序有bug。

现象分析

用perf top观察占用最多cpu time的程序，发现大部分是compaction.c这个程序造成的。

可以通过如下命令抓取一分钟的记录看下：

<span style="color:#000000">$ sudo perf record -a -g -F 1000 sleep 60
</span>

这里借用Brendan Gregg’s的工具 flame graph 分析下抓取的数据。

google查看后了解compaction.c