6.hadoop-完全分布式

最新推荐文章于 2024-10-11 10:12:56 发布

daxuddaai

最新推荐文章于 2024-10-11 10:12:56 发布

阅读量108

点赞数

分类专栏： hadoop 文章标签： hadoop hdfs 大数据

本文链接：https://blog.youkuaiyun.com/daxuddaai/article/details/109188342

版权

hadoop 专栏收录该内容

10 篇文章

订阅专栏

1.配置如下：

2.编写了xsync脚本，方便同步到hadoop103，hadoop104中去

脚本详情：https://blog.youkuaiyun.com/daxuddaai/article/details/109165041

3.配置集群

a.配置core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

其中<value>hdfs://hadoop102:9000</value><value>/opt/module/hadoop-2.7.2/data/tmp</value>需要根据实际情况变化

b.配置hadoop-env.sh

[hx@hadoop102 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

c.配置hdfs-site.xml

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:50090</value>
</property>

d.配置yarn-env.sh

[hx@hadoop102 hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

e.配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop103</value>
</property>

f.配置mapred-env.sh

[hx@hadoop102 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

g.配置mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

4.在集群上分发配置好的Hadoop配置文件

[hx@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

5.群起集群

配置slaves

增加三台机器的hostname注意不能有空格。hadoop3没有这个文件在workers里配置

6.启动集群

a.格式化namenode省略

b.启动hdfs

区别于单点启动命令：start-dfs.sh 就ok了

在每台机器上jps查看下相应的node启动好了没

c.启动yarn

注意需要在hadoop03机器上启动，因为咱们配置的是hadoop103是resourcemanager

命令：start-yarn.sh