hadoop yarn jobhistoryserver 配置

hadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。

1、编辑mapred-site.xml文件:

[java] view plain copy

 print?

1. <configuration>  
2.         <property>  
3.                 <name>mapreduce.framework.name</name>  
4.                 <value>yarn</value>  
5.         </property>  
6.         <property>  
7.                 <name>mapreduce.jobhistory.address</name>  
8.                 <value>10.4.1.1:10020</value>  
9.         </property>  
10.         <property>  
11.                 <name>mapreduce.jobhistory.webapp.address</name>  
12.                 <value>10.4.1.1:19888</value>  
13.         </property>  
14.         <property>  
15.                 <name>mapreduce.jobhistory.joblist.cache.size</name>  
16.                 <value>1000</value>  
17.                 <description>default 20000</description>  
18.         </property>  
19.         <property>  
20.                 <name>mapred.child.java.opts</name>  
21.                 <value>-Xmx512m</value>  
22.         </property>  
23.         <property>  
24.                 <name>mapreduce.jobhistory.cleaner.enable</name>  
25.                 <value>true</value>  
26.         </property>  
27.         <property>  
28.                 <name>mapreduce.jobhistory.cleaner.interval-ms</name>  
29.                 <value>86400000</value>  
30.                 <description>the job history cleaner checks for files to delete, in milliseconds. Default 86400000 (one day). Files are only deleted if they are older than</description>  
31.         </property>  
32.         <property>  
33.                 <name>mapreduce.jobhistory.max-age-ms</name>  
34.                 <value>432000000</value>  
35.         <description>Job history files older than this many milliseconds will be deleted when the history cleaner runs. Defaults to 604800000 (1 week)</description>  
36.         </property>  

 

 

2、启动history-server

Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，

启动的方法是通过(注意：必须是两个命令)：

./mr-jobhistory-daemon.sh start historyserver

./yarn-daemon.sh start timelineserver

 

 

启动完成后，查看进程
org.apache.Hadoop.yarn.server.applicationhistoryservice.ApplicationHistoryServer
org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer

3、验证

我们在Spark上以YARN方式启动一个任务，然后通过Hadoop YARN来查看日志

3.1 YARN模式下启动SPARK案例

 

[html] view plain copy

 print?

1. bin/spark-submit  --class  org.apache.spark.examples.SparkPi \  
2. --master yarn-cluster \  
3. --num-executors 3 \  
4. --driver-memory 1g \  
5. --executor-memory 1g \  
6. --executor-cores 1 \  
7. lib/spark-examples*.jar  10  

 

 

3.1 查看YARN-Cluster，并查看到刚才执行的任务，然后history->logs 就可以查看日志了

 

 

 

 

转载于:https://my.oschina.net/sniperLi/blog/913668