Spark安装配置02-JobHistoryServer配置

最新推荐文章于 2024-10-07 20:57:08 发布

With__Sunshine

最新推荐文章于 2024-10-07 20:57:08 发布

阅读量280

点赞数

分类专栏： Spark

Spark 专栏收录该内容

12 篇文章

订阅专栏

本文介绍了Spark的安装配置及历史服务启动方法。包括修改配置文件名称、配置spark-defaults.conf和spark-env.sh文件，将文件分发到其他节点，启动历史服务等步骤。还给出了遇到Hadoop HDFS写入权限问题的解决方案，即关闭权限验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

-------------------------------------------------------------

前言：

前面配置看，Spark安装配置01：https://blog.youkuaiyun.com/With__Sunshine/article/details/88622291

-------------------------------------------------------------

1.修改/soft/spark/conf/spark-defaults.conf.templete 名称

cd /soft/spark/conf/

mv spark-defaults.conf.templete spark-defaults.conf

2.配置spark-defaults.conf文件

vim park-defaults.conf

内容：
spark.eventLog.enabled true
spark.eventLog.dir hdfs://s101:9000/directory
spark.eventLog.compress true

注意：HDFS上的目录需要提前存在。

3.修改spark-env.sh，添加如下配置：

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://master01:9000/directory"

4.分发文件到s102、s103、s10

cd /soft/spark/conf

scp -r spark-defaults.conf centos@102:/soft/spark/conf
scp -r spark-defaults.conf centos@103:/soft/spark/conf
scp -r spark-defaults.conf centos@104:/soft/spark/conf

scp -r spark-env.sh centos@102:/soft/spark/conf
scp -r spark-env.sh centos@103:/soft/spark/conf
scp -r spark-env.sh centos@104:/soft/spark/conf

5.启动历史服务

先启动spark hdfs：
/soft/spark/sbin/start-all.sh

再启动，start-history-server.sh
/soft/spark/sbin/sstart-history-server.sh

6.如果遇到Hadoop HDFS的写入权限问题：

org.apache.hadoop.security.AccessControlException

解决方案：在hdfs-site.xml中添加如下配置，关闭权限验证

<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>