中间件(15) : hadoop[1]-集群部署_中间件集群-优快云博客

本文详细介绍了一个包含三个节点的Hadoop集群的安装与配置过程。涵盖了环境准备、Java安装、SSH免密配置、Hostname设置、Hadoop配置及启动验证等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考 : Hadoop 集群安装详细步骤（2022.4.4）亲测有效_程序员小明。的博客-优快云博客_hadoop集群安装

说明 : 由三个节点组成hadoop集群,操作系统为centos7.9,hadoop版本为2.7.2

1.设定部署环境机器和节点绑定

注 : 根据实际情况修改

cat >> /etc/profile <<'EOF'
node01=192.168.1.1
node02=192.168.1.2
node03=192.168.1.3
EOF
source /etc/profile

2.安装java(所有节点执行)

参考 : CentOS离线安装jdk8_JefferyC2018的博客-优快云博客_centos 离线安装jdk8

3.各机器互相配置ssh免密(所有节点执行)

3.1.ssh需要输入yes去除

vi /etc/ssh/ssh_config

将
# StrictHostKeyChecking ask
修改成
StrictHostKeyChecking no
便可

重启sshd

systemctl restart sshd

3.2.生成ssh密钥

ssh-keygen -t rsa

回车 * 3

3.3.传输公钥到其他节点

ssh-copy-id -i /root/.ssh/id_rsa.pub root@$node01
ssh-copy-id -i /root/.ssh/id_rsa.pub root@$node02
ssh-copy-id -i /root/.ssh/id_rsa.pub root@$node03

或者

cat  /root/.ssh/id_*.pub | ssh root@$node01 'cat  >> .ssh/authorized_keys'
cat  /root/.ssh/id_*.pub | ssh root@$node02 'cat  >> .ssh/authorized_keys'
cat  /root/.ssh/id_*.pub | ssh root@$node03 'cat  >> .ssh/authorized_keys'

需要输入密码

3.4.验证(所有机器执行)

ssh root@$nodd01 "date"
ssh root@$nodd02 "date"
ssh root@$nodd03 "date"

能输出时间说明成功

4.设置hostname(所有节点执行)

/etc/hostname

依次替换内容为node01,node02,node03

重启机器

reboot

5.配置hadoop

5.1.下载hadoop

各版本下载地址 : Index of /dist/hadoop/common

本次安装版本为2.7.2,下载地址 : https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

5.2.修改配置

解压

tar -zxvf hadoop-2.7.2.tar.gz
mv hadoop-2.7.2 /home

修改配置文件,进入[hadoop-2.7.2/etc/hodoop]

修改[hadoop-env.sh],添加一下内容(javahome,以实际情况为准)

export JAVA_HOME=/opt/jdk1.8.0_181/

修改[core-site.xml] ,在 configuration 标签中添加如下的内容

<!-- 指定HDFS中NameNode的地址 -->
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://node01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/hadoop-2.7.2/data/tmp</value>
</property>

修改[hdfs-site.xml],在 configuration 标签中添加如下的内容

<!-- 指定HDFS副本的数量 -->
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>node03:50090</value>
 </property>

修改[slaves]文件,添加一下内容

node01
node02
node03

5.3.传输hadoop到其他节点

scp -r /home/hadoop-2.7.2 root@$node01
scp -r /home/hadoop-2.7.2 root@$node02

6.格式化(node01节点执行)

hdfs namenode -format

7.启动hadoop(所有节点执行)

所有节点依次执行一下命令启动hadoop

/home/hadoop/sbin/start-dfs.sh

8.验证

机器上执行 jps 命令，如果能看到NamNode或者DataNode说明启动成功

9.控制台

使用[node01:50070]访问

http://192.168.1.1:50070/