spark-23.spark调优_1_监控与调优方向

1.spark的监控

1.任务运行的监控

spark web ui spark内置应用运行监控工具。

2.基础资源的监控

Ganglia 分析集群的使用状况和资源瓶颈。
Nmon 主机CPU、网络、磁盘、内存。
Jmeter 系统实时性能监控工具。

3.代码的监控

Jprofile Java程序性能监控工具【所有基于JVM的都能被监控】

2.spark的调优方向

调优要点：数据倾斜、资源参数、Shuffle参数、程序开发、JVM GC的优化。