spark-监控 作业算子执行时间获取

参考：
https://spark.apache.org/docs/latest/monitoring.html

spark算子执行时间

1. Spark UI：Spark 提供了 Web UI，可以通过浏览器访问，查看作业的执行情况、各个阶段的执行时间以及每个任务的执行情况。在 Spark 应用程序运行期间，可以通过 Spark UI 来监控每个算子的执行时间和各个阶段的执行情况。

2. DAG Visualization：通过 Spark UI 中的 DAG 可视化功能，可以清晰地看到作业的执行计划，每个阶段使用的算子以及它们之间的依赖关系。这有助于理解每个算子在整个执行过程中的位置和执行时间。

3. 日志信息：Spark 在运行过程中会输出大量的日志信息，包括每个阶段的执行情况、任务的执行时间等。可以通过分析这些日志来获取每个算子的执行时间或占比情况。

4. 自定义监控：在 Spark 应用程序中可以加入自定义的监控代码，对每个算子的执行时间进行统计，并输出到日志或其他监控系统中，从而实现精细化的监控和统计。

import org.apache.spark.scheduler._

class MetricsListener extends SparkListener {
private val startTimes = new HashMapLong, Long

override def onStageSubmitted(stageSubmitted: SparkListenerStageSubmitted): Unit = {
// 在stage提交时，可以做一些初始化工作
}

override def onTaskStart(taskStart: SparkListenerTaskStart): Unit = {
startTimes(taskStart.taskInfo.taskId) = System.currentTimeMillis()
}

override def onTaskEnd(taskEnd: SparkListenerTaskEnd): Unit = {
val startTime = startTimes.remove(taskEnd.taskInfo.taskId).getOrElse {
// 如果没有记录开始时间，可能是因为任务失败或者被取消了
throw new IllegalStateException(s"No start time for task ${taskEnd.taskInfo.taskId}“)
}
val duration = System.currentTimeMillis() - startTime
println(s"Task ${taskEnd.taskInfo.taskId} took $duration ms”)
}
}

// 使用监听器
spark.sparkContext.addSparkListener(new MetricsListener)
5. 第三方工具：除了上述方法外，还可以使用一些第三方的性能分析和监控工具，例如 Spark Monitor、Ganglia、Prometheus 等，这些工具可以提供更丰富的性能监控和分析功能。

综合利用以上方法，可以比较全面地了解 Spark SQL 中每个算子的执行时间或在整个执行过程中所占的比例，帮助进行性能调优和问题排查。

1.获取应用id
http://localhost:4040/api/v1/applications/
2.job信息
2.1通过appid(local-1718931563354)获取所有job信息
http://localhost:4040/api/v1/applications/local-1718931563354/jobs
2.2通过jobid(0)获取某个job信息
http://localhost:4040/api/v1/applications/local-1718931563354/jobs/0

3.stage信息
3.1所有stages信息
http://localhost:4040/api/v1/applications/local-1718931563354/stages/
3.2获取某个stage信息
http://localhost:4040/api/v1/applications/local-1718931563354/stages/1
其中包含每个task的信息