Spark 监控

有几种方法可以监视

应用 :

，

和其他扩展工具。

Spark

Web

UI

metrics

Web 接口

每一个

启动一个

，默认情况下使用端口

可以显示关于运行程序的有用信息。这包括 :

SparkContext

web

UI

4040，

调度器阶段和任务的列表

RDD

大小和内存使用的概要信息

环境信息

正在运行的程序的信息

您只需打开

的

浏览器就可以访问。如果在同一主机上运行多个

，他们将开始连续绑定到端

http://<driver-node>:4040

web

SparkContexts

口

（

、

、等）。

4040

4041

4042

注意，默认情况下这些信息仅在有程序的执行时显示。你可以在启动

之前修改配置，设置

为

。让

Spark

spark.eventLog.enabled

true

Spark

记录并持久化存储

事件使其可以在

中显示。

Spark

UI

历史信息

如果

在

或者

上运行，它仍有可能用已存在的程序日志通过

（历史信息记录服务）来显示该程序运

Spark

Mesos

YARN

Spark

history

server

行时的详细信息。启动命令如下:

./sbin/start-history-server.sh

这个会默认创建一个

接口 :

，显示未完成、完成以及其他尝试的任务信息。

web

http://<server-url>:18080

当指定使用一个文件系统提供

类（具体见下

），那么基本的日志存储路径应该在

class

spark.history.provider

spark.history.fs.logDirectory

这个配置中指定，并且会有子目录，每个都表示某个程序信息的日志

。

log

Spark

任务本身必须配置启用日志，并用相同的、共享的、可写的目录记录他们。例如，如果服务器配置的日志目录为