hadoop分布式集群搭建(3节点)

本文详细介绍了一步一步搭建和配置Hadoop集群的过程,包括虚拟机的克隆、网络设置、时钟同步、防火墙关闭、hosts文件修改、SSH免密码登录、JDK安装、Zookeeper安装配置、Hadoop安装配置、Yarn安装配置,以及集群的启动和验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、克隆虚拟机,准备三台linux系统
1、安装一台虚拟机后,关机,右键->管理->克隆,点击“下一步”,
在这里插入图片描述选择“虚拟机的当前状态”,点击下一步,
在这里插入图片描述选择“创建完整克隆”,点击“下一步”,可以修改虚拟机的名称及位置
在这里插入图片描述
2、修改克隆的虚拟机的网络设置
1)登录系统后,使用命令ifconfig及ping命令查看网络协议是否连通
2)修改网卡:通过 vi /etc/udev/rules.d/70-persistent-net.rules
在这里插入图片描述
通过命令 vi /etc/sysconfig/network-scripts/ifcfg-eth0
在这里插入图片描述
修改之后重启
3)修改ping ip、ping 外网等,验证网络是否连通
4)修改主机名 vi /etc/sysconfig/network 添加HOSTNAME= 然后reboot重启
5)如果网络错误,提示访问不存在等,修改/etc/resolv.conf要配置nameserver 8.8.4.4,然后重启
二、集群规划
Bigdata: namenode datanode journalnode zookeeper
Bigdata0: namenode、datanode resourcemanager journalnode zookeeper
Bigdata1: datanode journalnode zookeeper
三、搭建集群前的准备
1、时钟同步
Date指令验证时钟,如果不一致拷贝上海时间到localtime。Cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
然后使用ntp命令,ntpdate pool.ntp.org

2、关闭防火墙 使用命令chkconfig iptables off关闭各个节点的防火墙
3、修改hosts文件,添加静态ip和hostname之间的对应
4、配置ssh免密码登录,注意:在创建用户组时设置密码
在这里插入图片描述
在这里插入图片描述
四、集群搭建
1、安装jdk
1)bigdata11节点上安装
Rz命令上传到/home/hadoop/app目录下解压缩,然后配置环境变量
JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
CLASSPATH=.: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: JAVA

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值