hadoop-2.7.4集群部署

最新推荐文章于 2023-08-20 23:03:28 发布

原创

最新推荐文章于 2023-08-20 23:03:28 发布 · 584 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细介绍了如何部署Hadoop 2.7.4集群，包括软件准备、集群设置、SSH无密访问、卸载旧版JDK、安装JDK和Hadoop、配置集群以及启动Hadoop服务。通过一系列步骤，确保所有节点能够正常运行并形成稳定的Hadoop集群。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop-2.7.4.tar.gz
jdk-8u131-linux-x64.tar.gz
CentOS-6.5-x86_64-bin-DVD1.iso

在vm安装centos6.5系统，为了方便我这边安装完成一个后，克隆两台。
三台机器的主机名和ip地址如下：

修改/etc/hosts文件，配置如下：
这里写图片描述
另外两台机器/etc/hosts做同样的修改。修改完成后，ping测试三台机器连通性。

在三台机器上执行命令

ssh-keygen -t rsa

一路回车，会在/root/.ssh/生成两个文件id_rsa、id_rsa.pub，这边我们使用id_rsa.pub（公钥文件）。
在三台机器上执行命令

cat id_rsa.pub > authorized_keys
cat id_rsa_pub > authorized_keys2
cat id_rsa_pub > authorized_keys3

将hadoop2、hadoop3上的authorized_keys2、authorized_keys3上传到hadoop1上，执行命令如下：

scp authorized_keys2 root@hadoop1:/root/.ssh/
scp authorized_keys3 root@hadoop1:/root/.ssh/

完成之后，将authorized_keys2、authorized_keys3追加到authorized_keys中，执行命令如下：

cat authorized_keys2 > authorized_keys
cat authorized_keys3 > authorized_keys

最后将生成的authorized_keys文件上传到hadoop2、hadoop3上，执行命令如下：

scp authorized_keys root@hadoop2:/root/.ssh/
scp authorized_keys root@hadoop3:/root/.ssh/

完成之后进行ssh测试。

200万优质内容无限畅学