Hadoop 之 集群安装（HDFS、YARN）

简介：

• Hadoop集群包括两个集群：HDFS集群和YARN集群。
• 两个集群逻辑上分离、通常物理上在一起。

---

一：相关文档

1. Hadoop安装包下载地址：

   Index of /dist/hadoop/common

2. 安装使用 VMware 创建三台虚拟机。
3. 三台虚拟机做好免密登录。（参考文档：

   SSH设置免密登录（centos7）_ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa_潮听哥的博客-优快云博客

   ）
4. 修改三台主机hostname（参考文档：

   修改主机hostname，推荐第二种_修改hostname_有欲无求的博客-优快云博客

   ）。
5. 安装jdk。（参考文档：

   centos7 安装jdk详细教程_centos7安装jdk_奇漠的博客-优快云博客

   ）
6. 每分钟执行一次时间同步 crontab -e ; */1 * * * * /usr/sbin/ntpdate ntp1.aliyun.com

二：开始安装

1. 修改主机名（3台机器）

   vim /etc/hostname
   
   输入node1或node2或node3

2. Hosts映射（3台机器）

   vim /etc/hosts
   
   192.168.106.3 node1
   192.168.106.4 node2
   192.168.106.5 node3

3. 防火墙关闭（3台机器）

   systemctl stop firewalld.service      #关闭防火墙
   systemctl disable firewalld.service   #禁止防火墙开机自启

4. ssh免密登录

   注意：第一轮一次执行完后，再执行第二轮
   
   node1
   第一轮：
   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   scp ~/.ssh/id_dsa.pub root@node2:/home/id_dsa_node1.pub
   scp ~/.ssh/id_dsa.pub root@node3:/home/id_dsa_node1.pub
   第二