【大数据学习03】Hadoop中配置HDFS集群

最新推荐文章于 2024-12-23 14:29:46 发布

原创最新推荐文章于 2024-12-23 14:29:46 发布 · 175 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#HDFS集群

大数据同时被 2 个专栏收录

8 篇文章

订阅专栏

HDFS

6 篇文章

订阅专栏

本文详细介绍了如何在三台服务器上部署Hadoop集群的过程，包括DNS解析设置、SSH免密配置、HDFS配置及文件存储地址设定等步骤，并提供了启动集群及验证运行状态的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现在有
192.168.247.101 dtinone101
192.168.247.102 dtinone102
192.168.247.103 dtinone103

101 作为 NN
101，102，103作为 DN
102 作为 101 的2NN

添加101 102 103的DNS解析

vim /etc/hosts
192.168.247.101 dtinone101
192.168.247.102 dtinone102
192.168.247.103 dtinone103

修改101的slaves

vim slaves
dtinone101
dtinone102
dtinone103

设置101，102，103的2NN文件存储地址

vim hdfs-site.xml
<configuration>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>dtinone102:50090</value>
 </property>
</configuration>

设置DN注册位置（101 102 103都要设置）和数据存储位置

vim  /usr/local/apps/hadoop-2.7.7/etc/hadoop/core-site.xml 
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://dtinone101:8020</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/apps/hadoop-2.7.7/data</value>
 </property>
 //注册到101 前提：101 102 103 vim /etc/hosts都设置dtinone101的DNS解析

SSH配置免密
群启是RPC 发送htp请求来启动的
所以要设置免密。

ssh-keygen //回车

在这里插入图片描述

ssh-copy-id dtinone101
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.247.102
//ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@192.168.247.102
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.247.103
//ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@192.168.247.103

删除所有的data，然后NN初始化namenode

cd /usr/local/apps/hadoop-2.7.7
hadoop namenode -format

运行群启

cd /usr/local/apps/hadoop-2.7.7/sbin/
./start-dfs.sh

webUI检查NN,DN是否都启动成功，并注册成功
```
192.168.247.101:50070
```

启动成功但是注册不成功处理：

检查101下查看NN的ID
cd /usr/local/apps/hadoop-2.7.7/data/dfs/name/current
cat VERSION

在这里插入图片描述

检查所有DN的ID
cd /usr/local/apps/hadoop-2.7.7/data/dfs/data/current
cat VERSION

101DN：
在这里插入图片描述
102DN：

103DN:

【大数据学习03】Hadoop中配置HDFS集群

所有的datanode中的datanodeUuid必须不一致

所有的datanode中的clusterID必须一致

且和NN中的集群ID相同