集群网络配置:
准备三台CentOS7的服务器:
IP | 服务器名称 |
---|---|
192.168.21.25 | Master |
192.168.21.26 | Slave01 |
192.168.21.27 | Slave02 |
修改hosts
# Master服务器
vi /etc/hosts
192.168.21.26 Slave01
192.168.21.27 Slave02
192.168.21.25 Master
# Slave01服务器
vi /etc/hosts
192.168.21.27 Slave02
192.168.21.25 Master
# Slave02服务器
vi /etc/hosts
192.168.21.26 Slave01
192.168.21.25 Master
# 测试host连接(去不同服务器上测试相互是否能连接通)
ping Slave01 -c 3
SSH远程登录配置
让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上
# 以下全是Master服务器执行:
# 如果没有该目录,先执行一次ssh localhost
cd ~/.ssh
# 删除之前生成的公匙(如果有)
rm ./id_rsa*
# 创建秘钥(一直按回车就可以)
ssh-keygen -t rsa
# 秘钥写入authorized_keys
cat ~/.ssh/id_rsa.pub >> ./authorized_keys
# 测试免密码登录本机,第一次可能需要输入yes
ssh Master
# 将Master节点的秘钥传给Slave节点(使用root用户,传递id_rsa.pub文件到Slave01和Slave02的/root/hadoop目录下)
scp ~/.ssh/id_rsa.pub root@Slave01:/root/hadoop/
scp ~/.ssh/id_rsa.pub root@Slave02:/root/hadoop/
# 切换Slave01服务器
cat /root/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys
# 切换Slave02服务器
cat /root/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys
# 切换回Master服务器测试连接
ssh Slave01
ssh Slave02
JDK安装:
Hadoop Java版本对应
Hadoop Java Versions - Hadoop - Apache Software Foundation
本文采用的是yum安装(不推荐yum安装JDK,没有JPS等工具,并且JDK安装目录比较难找。)
# Master服务器:
yum install java-1.8.0-openjdk.x86_64
# 验证安装
java -version
# 切换到Slave01服务器,安装JDK
ssh Slave01
yum install java-1.8.0-openjdk.x86_64
java -version
# 退出Slave01服务器,返回Master服务器
exit
# 切换到Slave02服务器,安装JDK
ssh Slave02
yum install java-1.8.0-openjdk.x86_64
java -version
exit
# 因为yum安装的openjdk没有jps等工具,后续会经常用到,所以自行安装一下(每个服务器都安装一下)
yum install -y java-1.8.0-openjdk-devel
# 配置JAVA_HOME
# yum安装的jdk需要自己找一下安装目录
which java
# 结果:/usr/bin/java
ls -lr /usr/bin/jav