服务器搭建hadoop集群

最新推荐文章于 2024-11-27 15:17:54 发布

原创

最新推荐文章于 2024-11-27 15:17:54 发布 · 578 阅读

1 ·

CC 4.0 BY-SA版权

本教程详细介绍了在CentOS系统上搭建Hadoop 2.x集群的步骤，包括创建hadoop用户、安装SSH并实现无密码登录、安装Java环境、配置集群/分布式环境，以及启动和关闭Hadoop集群的流程。适用于两个节点的集群环境，通过验证确保各节点间能正常通信和无密登录。

环境

使用 centos 作为系统环境，基于原生 Hadoop 2，在 Hadoop 2.7.x版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1，Hadoop 2.4.1 等。

本教程简单的使用两个节点作为集群环境: 一个作为 Master 节点，局域网 IP 为 192.168.1.121；另一个作为 Slave 节点，局域网 IP 为 192.168.1.122。

准备工作

Hadoop 集群的安装配置大致为如下流程:

选定一台机器作为 Master
在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
在 Master 节点上安装 Hadoop，并完成配置
在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
在 Master 节点上开启 Hadoop

安装步骤

创建hadoop用户（Slave同理）

1、创建新用户：sudo useradd -m hadoop

2、设置hadoop用户密码：sudo passwd hadoop

3、为hadoop用户增加管理员权限，方便部署：sudo adduser hadoop sudo

4、为了便于区分，修改各个节点的主机名，在Master节点上修改主机名：sudo vim /etc/hostname

Master
// 或者HOSTNAME=Master

5、修改所用节点的IP映射，一般该文件中只有一个127.0.0.1 localhost，如果有多余的应该删除，特别注意的是不要有与下面增加的内容重复（Slave同理）：sudo vim /etc/hosts

192.168.1.121 Master
192.168.1.122 Slave1

6、配置好后，验证一下是否相互能ping通：

ping Master -c 3  // 只ping 3次
ping Slave1 -c 3

安装SSH、配置SSH并无密码登录（Master的hadoop用户下）

1、确认是否安装SSH client、SSH server

2、安装SSH client、SSH server：sudo apt-get install openssh-server

3、首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）：

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
rm ./id_rsa*
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权，让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行

4、执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）

5、在 Master 节点将上公匙传输到 Slave1 节点：scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

6、在Slave1节点上，将ssh公钥加入授权（如果有其他 Sla