Hadoop-2.6.0全分布部署安装---超强笔记

0x00 Preface[前言，准备阶段]

自我检查！！

a、 安装jdk并设置环境变量

https://blog.youkuaiyun.com/Attsky/article/details/109555564

b、安装hadoop并设置环境变量

https://blog.youkuaiyun.com/Attsky/article/details/110003918

c、修改hosts文件、hostname

https://blog.youkuaiyun.com/Attsky/article/details/110004440

d、免密登录（公私钥配对）

https://blog.youkuaiyun.com/Attsky/article/details/109562741

e、关闭centos7防火墙

https://blog.youkuaiyun.com/Attsky/article/details/109681152

 

记住jdk和hadoop的路径

jdk路径：
/usr/local/java/jdk1.8.0_152/
hadoop路径
/export/servers/hadoop-2.6.0/

 

集群规划：

Hadoop全分布集群规划

主机名	ip	NameNode	DataNode	SecondaryNameNode	NodeManager	ResourceManager
master	192.168.77.20	是		是		是
slave1	192.168.77.30		是		是
slave2	192.168.77.40		是		是

 

 

 

 

 

0x01Hadoop全分布安装（只在master上做）

创建2个文件夹（在master、slave1slave2上做）

[root@slave1 ~]# mkdir -p /export/servers/hadoop-2.6.0/hdfs/data
[root@slave1 ~]# mkdir -p /export/servers/hadoop-2.6.0/hdfs/name

修改共8个配置文件

修改jdk的配置文件有三个（只在master上做）：
hadoop-env.sh 
yarn-env.sh
mapred-env.sh

在需要修改jdk配置文件，取消注释，并修改为

export JAVA_HOME=/usr/local/java/jdk1.8.0_152/

修改剩下5个配置文件

core-site.xml （只在master上做）

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
</property>
<property>
     <name>io.file.buffer.size</name>
     <value>131072</value>
</property>

hdfs-site.xml（只在master上做）

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/export/servers/hadoop-2.6.0/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/export/servers/hadoop-2.6.0/hdfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

 yarn-site.xml（只在master上做）

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

 mapred-site.xml（只在master上做）

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

slave（只在master上做）

master
slave1
slave2

0x02分发hadoop-2.6.0给slave1、slave2

分发前先创建2个文件夹（在slave1、slave2上做）

[root@slave1 ~]# mkdir -p /export/servers/hadoop-2.6.0/hdfs/data
[root@slave1 ~]# mkdir -p /export/servers/hadoop-2.6.0/hdfs/name

执行分发命令 （只在master上做）

scp -r /export/servers/hadoop-2.6.0/ root@slave1:/export/servers/
scp -r /export/servers/hadoop-2.6.0/ root@slave2:/export/servers/

0x03启动hdfs，首次启动需格式化hdfs，后面可以选择性格式化

执行命令（只在master上做）

hdfs namenode -format

0x04开启集群

执行命令（只在master上做）

[root@master ~]# start-all.sh

0x05验证集群

jps看下一下Java进程

master如下图

slave1如下

slave2如下

 

访问master的50070端口和8088端口（yarn）

如果出现下面的图片可以说明hadoop全分布部署安装成功

0x06关闭集群

执行命令（只在master上做）

[root@master ~]# start-all.sh

-=============华丽的分割线===================

醒来的时候，希望自己不负大好时光，To know the unknown