centos6.5 Hadoop集群的搭建

Linux下Hadoop部署指南

最新推荐文章于 2022-07-19 10:14:27 发布

原创最新推荐文章于 2022-07-19 10:14:27 发布 · 498 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍如何在最小化安装的Linux系统中部署Hadoop集群，包括用户创建、网络配置、SSH免密登录设置及Hadoop环境配置等关键步骤。

最小化安装Linux操作系统
uesradd一个groot用户设置密码 passwd groot
然后开始设置网卡选项
重启网卡：service network restart
查看虚拟机Mac地址：vi /etc/udev/rules.d/70-persistent-net.rules
修改Mac配置：vi /etc/sysconfig/network-scripts/ifcfg-eth0
onboot选项修改为yes
重启网卡 ifconfig就可以联网此后可以在mobaxterm下操作
yum -y install vim 下载vim指令工具
在groot用户下建立soft文件夹将Hadoop与jdk导入并解压
完成之后配置环境变量：vim ~/bashrc
export JAVA_HOME=/home/groot/soft/jdk
export HADOOP_HOME=/home/groot/soft/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
修改保存后 source ~/.bashrc 重新载入配置
此时输入 Java javac Hadoop 都会有相应提示表示成功
将修改的Hadoop配置文件导入 "/home/groot/soft/hadoop/etc/hadoop/"

修改主机名为master或slave：
vim /etc/sysconfig/network
vim /etc/hosts
修改之后reboot重启

ssh的配置：
由于最小化Linux系统没装ssh 所以要用yum -y install openssh-clients下载
安装完成后 /etc/init.d/sshd status 可以检测ssh是否处于运行状态
然后切换到groot用户*****
ssh-keygen -t rsa -P '' 生成.ssh文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将本机设置免密登陆
# chmod 700 ~/.ssh
# chmod 600 ~/.ssh/authorized_keys 更改免密文件的权限

scp id_rsa.pub groot@192.168.174.130 将一台机器的免密公钥发给另一个

当两台虚拟机的SSH免密设置好之后，便可以用master机器与slave机器相互访问

在master下 ssh slave得到一行slave的IP 便是设置成功

此时在master机器上格式化namenode节点：hadoop namenode -format

倒数第五行的数字为0则表示格式化成功，此时使用指令start-all.sh后使用jps指令可以显示6个节点

若缺少节点，则需要分析并解决。