Spark学习之路——5.Spark UI

一、Spark UI解读

Jobs页面可以看到所有Jobs的执行情况，job的数量取决于action算子的数量。

Stages页面列出所有Stage的执行情况。Spark stage切分是按照宽依赖来区分的，因此粒度上要比job更细一些。

Storage页面显示所做的cache persist等操作。

Environment页面里面展示了当前spark所依赖的环境，比如jdk，lib等等

Executors页面显示executor运行情况，这里可以看到执行者申请使用的内存以及shuffle中input和output的内存等数据。

二、分别用local/standalone/yarn模式运行workcount

1.通过Spark UI来查看执行进度：

①Local模式：

②standalone模式

③yarn模式

2.截取执行成功后输出的结果

①local模式

②standalone模式

③yarn-client模式