Spark配置historyserver

最新推荐文章于 2025-09-14 16:45:00 发布

原创最新推荐文章于 2025-09-14 16:45:00 发布 · 460 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#historyserver

spark 专栏收录该内容

22 篇文章

订阅专栏

本文详细介绍了Spark在高可用HDFS环境下的配置步骤，包括如何修改配置文件以启用日志记录，设置Spark History Server的端口及日志保留数量，以及在非高可用HDFS环境下的配置方法。

进入到Spark安装目录
cd /home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/conf

在这里插入图片描述

将spark-default.conf.template复制为spark-default.conf
修改spark-default.conf文件，开启Log：
hdfs上的这个目录最好还是提前创建吧
在这里插入图片描述
改spark-env.sh文件，添加如下配置：

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://qf/sparklog"

在这里插入图片描述

在HDFS上创建好你所指定的eventLog日志目录。

上面是hdfs的ha的配置报错所以我将hadoop里面的core-site.xml 和 hdfs-site.xml 文件拿到spark的conf下面就可以了

Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: qf

在这里插入图片描述

先看一下spark是否启动
是访问8080端口不是7077
在这里插入图片描述

成功
在这里插入图片描述

下面为不是高可用的hdfs 的配置

spark-defaults.conf
spark.eventLog.enabled  true
spark.eventLog.dir       hdfs://master01:9000/directory
spark.eventLog.compress true
spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://master01:9000/directory"

参数描述：
spark.eventLog.dir：Application在运行过程中所有的信息均记录在该属性指定的路径下；
spark.history.ui.port=4000 调整WEBUI访问的端口号为4000
spark.history.fs.logDirectory=hdfs://master01:9000/directory 配置了该属性后，在start-history-server.sh时就无需再显式的指定路径，Spark History Server页面只展示该指定路径下的信息
spark.history.retainedApplications=3 指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
将配置好的Spark文件拷贝到其他节点上