Spark历史服务器配置与使用

介绍

spark也有历史服务器，监控已经运行完成的spark application
start-history-server.sh
（1）将application运行的日志信息保存起来
MapReduce运行的时候，启动了日期聚集功能：将日志信息 上传到HDFS目录
（2）启动一个服务读取日志信息，以便前端页面展示
MrHistoryServer

配置Spark HistoryServer

1. 将我们application EventLog保存到HDFS

spark.eventLog.enabled=true
spark.eventLog.dir=hdfs:// bigdata-hpsk01.huadian.com:8020/datas/spark/eventLogs
备注：/datas/spark/eventLogs需要提前创建好
spark.eventLog.compress=true
spark.io.compression.codec

将上面4个配置属性放哪里

针对于某一个应用配置

编码实现，在config对象中配置

命令行参数中配置

所有的应用配置—全局配置

	放在配置文件中
	spark-defaults.conf

2.启动HistoryServer读取日志进行展示

	我从哪里去读取这些日志信息
	配置：spark-evn.sh

执行命令

bin/spark-shell \
--master spark://bigdata-hpsk01.huadian.com:7077 \
--conf spark.eventLog.enabled=true \
--conf spark.eventLog.dir=hdfs://bigdata-hpsk01.huadian.com:8020/datas/spark/eventLogs \
--conf spark.eventLog.compress=true \
--executor-cores 1 \
--total-executor-cores 2 \
--driver-memory 512M \
--executor-memory 512M 

3.查看

通过18080 查看
http://bigdata-hpsk01.huadian.com:18080/