Hadoop完全分布式运行模式＜开发重点＞: 集群配置

1. 集群部署规划

	hadoop102	hadoop103	hadoop104
HDFS	NameNode, DataNode	DataNode	SecondaryNameNode, DataNode
YARN	NodeManager	ResourceManager, NodeManager	NodeManager

2. 配置集群

2.1 核心配置文件

配置 core-site.xml

[atguigu@hadoop102hadoop]$ vi core-site.xml

在该文件中编写如下配置

<!--指定HDFS中NameNode的地址-->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop102:9000</value>
</property>
<!--指定Hadoop运行时产生文件的存储目录-->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

2.2 HDFS配置文件

配置 hadoop-env.sh

[atguigu@hadoop102hadoop]$ vi hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

配置 hdfs-site.xml

[atguigu@hadoop102hadoop]$ vi hdfs-site.xml

在该文件中编写如下配置

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!--指定Hadoop辅助名称节点主机配置-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>hadoop104:50090</value>
</property>

2.3 YARN配置文件

配置yarn-env.sh

[atguigu@hadoop102hadoop]$ vi yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[atguigu@hadoop102hadoop]$vi yarn-site.xml

在该文件中增加如下配置

<!--Reducer获取数据的方式-->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的ResourceManager的地址-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop103</value>
</property>

2.4 MapReduce配置文件

配置mapred-env.sh

[atguigu@hadoop102hadoop]$ vi mapred-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

[atguigu@hadoop102hadoop]$ cp mapred-site.xml.template mapred-site.xml
[atguigu@hadoop102hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

<!--指定MR运行在Yarn上-->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

3. 在集群上分发配置好的Hadoop配置文件

[atguigu@hadoop102hadoop]$ xsync /opt/module/hadoop-2.7.2/

4. 查看文件分发情况

[atguigu@hadoop103hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml