spark 历史和实时任务日志监控

一.spark on yarn historyserver（运行完毕日志）

  1.配置yarn日志参数:yarn-site.xml

<property>     <name>yarn.log-aggregation-enable</name>     <value>true</value>   </property>   <property>     <name>yarn.log.server.url</name>     <value>http://hadoop-senior01.ibeifeng.com:19888/jobhistory/job/</value>   </property>

 修改spark的spark-defaults.conf

spark.yarn.historyServer.address      http://hadoop-senior01.ibeifeng.com:18080

2. 启动 yarn &mrhistory server

   sbin/start-yarn.sh

  sbin/mr-jobhistory-daemon.sh start historyserver

3. 启动 spark 的historyserver

   cd/opt/modules/spark

  sbin/start-history-server.sh

4. 在 hadoop的 All Applications 点击 History，就可以查看日志

 

二.spark on yarn 日志聚合 （运行时日志）

方式一：默认端口，修改相应配置文件

   1. 配置spark-env.sh

SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop-senior01.ibeifeng.com:8020/user/spark/eventlogs"

 （有引号）

  2. 创建hdfs对应的路径

     hdfsdfs -mkdir -p /user/spark/eventlogs

 3.修改spark-defaults.conf

spark.eventLog.enabled         true spark.eventLog.dir        hdfs://hadoop-senior01.ibeifeng.com:8020/user/spark/eventlogs

 4. 在hadoop的 All Applications 点击 该任务，就可以查看日志

 

方式二：如果很多配置不是默认端口，可以开启代理服务（代理不仅可以开启实时监控，也同时开启了 historyserver）

1.配置：yarn-site.xml

<property>  <name>yarn.web-proxy.address</name>  <value>master-yyft:18888</value> </property>

2.启动代理 yarn-daemon.sh start proxyserver

3. 在 hadoop的 All Applications 点击 History，就可以查看日志

 

三.补充 hadoop 的historyserver

 1.修改mapred-site.xml

<property> <name>mapreduce.jobhistory.address</name> <value>hadoop-senior01.ibeifeng.com:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop-senior01.ibeifeng.com:19888</value> </property>

2.启动mr-jobhistory-daemon.shstart historyserver