如何用三台服务器配置分布式hadoop

最新推荐文章于 2024-05-29 14:10:13 发布

CCNOOBS

最新推荐文章于 2024-05-29 14:10:13 发布

阅读量906

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据服务器端文章标签： hdfs hadoop

本文链接：https://blog.youkuaiyun.com/CCNOOBS/article/details/86507640

将hadoop的资源分为下图所示

三台服务器的任务分布

如上图所示，我们需要将namenode 和zkfc（FailoverController）部署在第一第二台服务器上，在第一台服务器上部署动yarn，第三台服务器中部署resourcemanager，并将datanode在三台服务器中部署。

1. 关闭防火墙

2. 修改主机名

3. 配置hosts文件。将需要搭建集群的主机全部配置到hosts文件中，如

192.168.32.138 cloud01
192.168.32.139 cloud02
192.168.32.140 cloud03

4. 配置免密登录

ssh-keygen

一路回车，然后将秘钥发送给另一台服务器

ssh-copy-id cloud02

然后输入cloud02的密码，将第一台服务器的key发送给第二第三台，同理第二台发送给第一第三，第三台发送给第一第二台。

5. 安装jdk

6. 安装zookeeper

7. 配置Hadoop

1. 编辑hadoop-env.sh，并且重新生效

2. 编辑core-site.xml里的 configuration

<!--指定hdfs的nameservice，为整个集群起一个别名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定Hadoop数据临时存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
<!--指定zookeeper的存放地址-->
<property>