Hadoop MapReduce wordcount 实例简单介绍

Hadoop MapReduce wordcount 实践指南

最新推荐文章于 2022-05-13 09:30:00 发布

原创

最新推荐文章于 2022-05-13 09:30:00 发布 · 491 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍了在已搭建的Hadoop HA高可用环境中实现wordcount实例的步骤，包括总体架构、Hadoop环境配置以及具体Java代码的编写和执行。读者需先完成hadoop ha环境和开发环境的配置。

本篇介绍MapReduce wordcount简单实例，在此之前请搭建好hadoop ha高可用环境和myeclipse上hadoop api环境配置，如果没有请参考hadoop ha 高可用搭建和hadoop hdfs的api简单使用。

一、总体架构

二、配置hadoop环境

三、wordcount实例编写

一、总体架构

总体结构如下表所示，即hadoop ha 之上添加了RS（Resource Manager）和NM（Node Manager）。

二、配置hadoop环境

虽然node01不需要添加RS或NM，但在此采取的策略是在node01上配置好传输到另外三个节点。

重命名mapred-site.xml.template为mapred-site.xml

cp /myapp/hadoop-3.1.2/etc/hadoop/mapred-site.xml.template /myapp/hadoop-3.1.2/etc/hadoop/mapred-site.xml

配置mapred-site.xml，全部内容如下

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

配置yarn-site.xml，configure标签中全部内容如下

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>

最低0.47元/天解锁文章