Hadoop3完全分布式环境搭建 （附带相互免密）

1、环境准备

• 提前准备三台虚拟机（最少三台，越多越好，不然，没钱你搞什么大数据😂），构建三台虚拟机免登录
• 为了方便使用 ，先把各自主机的端口号起一个别名
• 这里是需要JDK版本支持的，我用是8版本（JDK安装这里就不说了，自行解决）

Xshell有所有会话一起操作的功能，我们就直接一起进行修改
1、开启所有会话

2、修改
【1、2、3】vim /etc/hosts
添加三台虚拟机的端口号 我这里端口和名字分别对应

• 192.168.25.129 node01
• 192.168.25.130 node02
• 192.168.25.131 node03

3、虚拟机相互免秘钥

 ##三台主机分别生成`秘钥`
【123】ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
 ##host验证   在最后添加
【123】vim /etc/ssh/ssh_config 
 ##添加如下内容   尽量和其余的的对齐放
 StrictHostKeyChecking no
 UserKnownHostsFile /dev/null
 ##将秘钥分别拷贝给自己和另外两台虚拟机   这个过程需要输入虚拟机的密码 
【123】ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
【123】ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
【123】ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03

4、测试一下是否免密成功
[root@node01 ~]# ssh root@node02
[root@node02 ~]# ssh root@node03
[root@node03 ~]# ssh root@node01

5、拍个快照吧 防止玩坏掉

2、Hadoop完全分布式集群

节点分布

1）准备安装环境
这里先搞一台 然后复制到另外两台上面，所以暂时不需要搞统一会话了
上传Hadoop压缩文件 自行下载，这里用的是 hadoop-3.1.2.tar.gz
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/

[root@node01 ~]# tar -zxvf hadoop-3.1.2.tar.gz
[root@node01 ~]# mv hadoop-3.1.2 /opt/bdp/
[root@node01 ~]# cd /opt/bdp/hadoop-3.1.2/etc/hadoop/

2）修改集群环境
[root@node01 hadoop]# vim hadoop-env.sh 直接在文件的最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

3）修改配置文件
[root@node01 hadoop]# vim core-site.xml 添加在标签中

<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/bdp/hadoop/full</value>
</property>

[root@node01 hadoop]# vim hdfs-site.xml 添加在标签中

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>node02:50091</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

[root@node01 hadoop]# vim workers 替换全部内容

node01
node02
node03

4）修改环境变量
[root@node01 hadoop]# vim /etc/profile 最后添加

export HADOOP_HOME=/opt/bdp/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

5）拷贝至另外两台虚拟机
到这里，单台的就完成了！

• 将配置好的软件分发到其他主机
  [root@node02 ~]# scp -r root@node01:/opt/bdp/hadoop-3.1.2 /opt/bdp/
[root@node03 ~]# scp -r root@node01:/opt/bdp/hadoop-3.1.2 /opt/bdp/

• 将环境变量拷贝到其他主机
  [root@node01 bdp]# scp /etc/profile root@node02:/etc/profile
[root@node01 bdp]# scp /etc/profile root@node03:/etc/profile

• 重新加载三台服务器的环境变量
  【123】# source /etc/profile

6）格式化NameNode
注意：命令不要重复执行，不要在其他节点上执行，要在NameNode上执行 否则，就会导致创建多个集群，会因为不是一个集群，导致无法启动节点。
[root@node01 yjx]# hdfs namenode -format

7）启动集群
[root@node01 yjx]# start-dfs.sh
会依次启动 namenode datanode secondary namenode

8）访问 http://192.168.25.129:9870
看到这个页面 就说明成功了

这里可以看到节点信息

这里可以创建和查看具体的存储信息

over,感谢观看！