Spark History Server配置

cxy1991xm

于 2019-04-15 12:20:41 发布

阅读量155

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/cxy1991xm/article/details/89309568

spark 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了Spark集群中日志记录与历史服务器的配置方法。包括spark-defaults.conf中关于事件日志的启用、压缩及目录设置，以及spark-env.sh中历史服务器的各项参数配置，如端口、保留应用程序数量、日志目录、清理策略等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、spark-defaults.conf：spark.eventLog开头的配置
spark.eventLog.enabled true
spark.eventLog.compress true
spark.eventLog.dir hdfs://ip:port/log/或者file:///tmp/spark-events
2、spark-env.sh中的SPARK_HISTORY_OPTS：spark.history开头的配置
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=300 -Dspark.history.ui.maxApplications=2000 -Dspark.history.fs.logDirectory=hdfs://ip:port/log/ -Dspark.history.fs.cleaner.enabled=true -Dspark.history.fs.cleaner.interval=1d -Dspark.history.fs.cleaner.maxAge=7d"