SPARK启动历史任务查看

最新推荐文章于 2023-10-10 20:53:12 发布

iteye_15241

最新推荐文章于 2023-10-10 20:53:12 发布

阅读量608

点赞数

分类专栏： Spark调优文章标签：大数据 ui

本文链接：https://blog.youkuaiyun.com/iteye_15241/article/details/82653864

版权

5 篇文章

订阅专栏

SPARK历史任务查看需要一下配置:

修改spark-defaults.conf配置文件
1. spark.eventLog.enabled true
2. spark.eventLog.dir hdfs://192.168.9.110:9000/eventLogs
3. spark.eventLog.compress true
修改spark-env.sh配置文件
1. export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"
以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息.所以需要提前在hdfs中新建这两个目录 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs
1. 进入hadoop的bin目录命令 : cd /data/server/hadoop-2.6.0/bin
2. 新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs
3. 新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs
重启spark集群
启动历史任务进程
1. sbin/start-history-server.sh
历史任务进程启动验证
1. 执行jps命令,出现HistoryServer进程
查看历史任务Web UI
1. http://192.168.9.110:18080/