Spark History Server配置、启动、spark运行环境优化

Spark History Server配置

（1）spark history server查看运行完成的作业信息和日志

（2）配置Hadoop的yarn-site.xml文件，所有节点配置文件同步，重启yarn

<property>

    <name>yarn.log.server.url</name>

    <value>http://node02:19888/jobhistory/logs</value>

    <description>Yarn JobHistoryServer访问地址</description>

</property>

（3）修改spark安装包conf目录下的spark-defaults.conf（如果没有该文件，通过spark-defaults.conf.template模板复制一个），spark history server在192.168.137.100节点启动，spark_logs这个目录需要在HDFS上提前创建

spark.yarn.historyServer.address=192.168.137.100:18080

spark.history.ui.port=18080

spark.eventLog.enabled=true

spark.eventLog.dir=hdfs://spark_logs

spark.history.fs.logDirectory=hdfs:///spark_logs

Spark History Server启动

（1）启动Spark History Server

sbin/start-history-server.sh

（2）Spark History Server访问地址

http://192.168.137.100:18080

（3）Spark History Server使用

Spark运行环境优化

将spark系统jar包上传到HDFS上，直接使用HDFS上的文件

（1）在spark安装目录下运行：jar cv0f spark-libs.jar -C jars/ .

（2）将spark安装目录下生成的spark-libs.jar上传到HDFS上的/system/spark（需要手动创建）目录下

hadoop fs -put spark-libs.jar /system/spark

（3）修改spark安装包conf目录下spark-defaults.conf配置文件添加spark-libs.jar在HDFS上的路径

spark.yarn.archive=hdfs:///system/spark/spark-libs.jar