大数据学习7

yarn环境搭建：

1.配置文件：

etc/hadoop/mapred-site.xml:

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

告诉hadoop框架mapreduce跑在yarn之上

etc/hadoop/yarn-site.xml:

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property> 

告诉hadoop yarn用的是mapreduce这个资源服务

2.启动yarn进程：

$ sbin/start-yarn.sh

3.验证

 http://localhost:8088/

或者jps命令会出现以下两个进程：

NodeManager

ResourceManager

4.关闭yarn：

sbin/stop-yarn.sh

使用官方的mr作业来运行yarn

官方作业的位置：

/home/lc/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce 文件下：

hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 这个jar包

使用hdaoop jar命令来运行这个作业:

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar(JAR 包) pi （jar中具体的类名）2 3 （参数）