MapReduce配置

最新推荐文章于 2025-03-26 23:55:31 发布

原创最新推荐文章于 2025-03-26 23:55:31 发布 · 682 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #hadoop #hadoop集群 #zookeeper #yarn

Big Data 专栏收录该内容

140 篇文章

订阅专栏

Step 1：
搭建Hadoop集群和Zookeeper集群：
http://blog.youkuaiyun.com/ymf827311945/article/details/71566137
http://blog.youkuaiyun.com/ymf827311945/article/details/71258273

Step 2：
执行命令：

vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml

添加如下属性：

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>ymf</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>node12</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>node13</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>node11:2181,node12:2181,node13:2181</value>
</property>
</configuration>

这里写图片描述

Step 3：
执行命令—-复制一份配置文件，名字必须为mapred-site.xml

cp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml

这里写图片描述

Step 4：
执行命令，编辑该文件

vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml

添加如下属性：

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

这里写图片描述

Step 5：
执行命令，进行文件的分发

scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml node12:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/
scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml node13:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/
scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml node13:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/
scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml node12:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/