Hadoop2.0：Jvisualvm监控MapReduce和spark作业

注意： 这个监控适用于执行时间长的作业，比如数据量较大的mapreduce和spark，以及spark streaming等。对几秒到几分钟的作业，恐怕你还没配置好jvisualvm监控，作业就结束了。

昨天看了一篇介绍如何用jvisualvm监控spark作业的方法，因为我的MapReduce作业和spark作业都是跑在hadoop2.0的yarn上的，所以自己探索者把mapreduce和spark on yarn都配置了jvisualvm监控。监控效果很赞，很直观，相信很多同学会用到的。

jvisualvm是java自带的小组件，在昨天之前我都不知道它的存在。在javaPath/jdk/bin/下面。在Linux下怎么用它我还没试，在windows下直接双击jvisualvm.exe打开就好。

spark on yarn配置

1.  客户端的spark-default.conf中添加一行配置：