配置Spark history server

问题描述：启动sbin/start-history-server.sh，jps下无historyserver进程，查看日志，显示如下错误。

原因分析：

1）查看$SPARK_HOME/conf，发现未配置spark-default.conf；

2）将spark.fs.history.logDirectory配置到conf/spark-defaults.conf目录里，发现并不起作用

解决方法：

1）配置$SPARK-HOME/conf/spark-defaults.conf

[hadoop@Master conf]$ cpspark-defaults.conf.template spark-defaults.conf

[hadoop@Master conf]$ vispark-defaults.conf

添加以下相关参数。

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs://Master:9000/user/hadoop/sparkhistorylogs

spark.history.ui.port              18080

spark.history.fs.logDirectory      hdfs://Master:9000/user/hadoop/sparkhistorylogs

2）在hdfs创建spark logs存储目录。

[hadoop@Master conf]$ hdfs dfs –mkdir/user/hadoop/sparkhistorylogs

3）启动spark historyserver 需要指定logs所在的hdfs路径。

[hadoop@Master spark-1.6.0-bin-hadoop2.6]$sbin/start-history-server.sh

4）查看结果

查看History server webUI

执行一个spark job

查看Master

查看History Server