Hadoop—run a MapReduce job on YARN in a pseudo-distributed mode

最新推荐文章于 2024-02-17 21:51:40 发布

原创最新推荐文章于 2024-02-17 21:51:40 发布 · 323 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce

本文介绍了如何配置参数并在YARN的伪分布式模式下运行MapReduce的WordCount示例，虽然过程中遇到电脑卡顿的问题，但最终预期运行成功。

一、配置参数

#配置yarn-env.sh
$ cd etc/hadoop/
$ echo $JAVA_HOME
/opt/software/jdk1.8
$ vim yarn-env.sh
【
# some Java parameters
export JAVA_HOME=/opt/software/jdk1.8
】
#配置yarn-site.xml
$ vim yarn-site.xml
【
<!-- Reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!-- 指定Yarn的resourcemanager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>

<!-- 日志聚集功能使能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
<!-- 日志保留时间设置 7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
 】
#配置mapred-env.sh
$ vim mapred-env.sh
【
   export JAVA_HOME=/opt/software/jdk1.8
】
#重命名mapred-site.xml.template，并配置
$ mv mapred-site.xml.template mapred-site.xml
$ vim mapred-site.xml
【
<!--指定mapreduce运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
  
<!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop101:10020</value>
    </property> 
<!-- 历史服务器 web 端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop101:19888</value>
    </property>    
 】
#启动
/sbin$ hadoop-daemon.sh start namenode
starting namenode, logging to /opt/software/hadoop2.7/logs/hadoop-test-namenode-hadoop101.out
/sbin$ hadoop-daemon.sh start datanode
starting datanode, logging to /opt/software/hadoop2.7/logs/hadoop-test-datanode-hadoop101.out
/sbin$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/software/hadoop2.7/logs/yarn-test-resourcemanager-hadoop101.out
/sbin$ yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/software/hadoop2.7/logs/yarn-test-nodemanager-hadoop101.out
$ jps
7169 NameNode
7234 DataNode
7383 ResourceManager
7658 Jps
7598 NodeManager

二、在YARN上运行WordCount

$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/test
$ bin/hdfs dfs -put etc/hadoop input
$ bin/hdfs dfs -put etc/hadoop wcinput
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/test/wcinput /user/test/wcoutput

电脑卡到爆炸，所以没有截图，直接中断进程了，但结果应该是没有问题的，太难了！！！哈哈哈，吃饭。