Hadoop集群环境搭建(我这里是搭建的一个主节点,两个从节点)

本文详细记录了在CentOs系统上搭建Hadoop集群的全过程,包括系统环境准备、JDK安装配置、Hadoop安装配置、集群环境搭建以及节点间SSH免密登录。适合初学者参考。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hadoop集群弄得我心力交瘁,终于弄好后决定记录一下。(以下步骤仅供参考)

一、首先,需要准备的东西(基于电脑是64位的)

1.虚拟机VMware12以上(我这里用的是VMware14)

下载链接:https://pan.baidu.com/s/1mx7913tXtVz57Ywi_gYh5A     提取码:87am 

2.Linu系统CentOs6.4以上(我这里用的是Centos6.5)

下载链接:https://pan.baidu.com/s/1A2W_-VHK6SqScvWUrpkK2A     提取码:g7wy 

3.jdk(我用的是jdk-8u191-linux-x64.tar)

下载链接:https://pan.baidu.com/s/1_nTzpzxvzTPyBZG4slFJgg     提取码:zdrr 
4.hadoop(我用的是hadoop-2.8.0.tar)

下载链接:https://pan.baidu.com/s/14rs4tLMHpmZ_5k5jyT-Ddw     提取码:0yh4 

5.先关闭防火墙 ,最好是选择永久关闭(很重要!!!!!!)

service iptables status 查看防火墙状态  

 service iptables stop 即时生效,重启后复原

 chkconfig iptables off  永久关闭防火墙

二、部署CentOs64位操作系统

1、安装过程很简单,这里就不细述了。比如我这里就是装好的主节点名为master的,起什么名字都可以的。

2、网络配置这里选择NAT,如下图

3、设置静态IP

(1)指向右上角的电脑,点击右键,点击编辑连接,选择System eth0,单击编辑按钮,选择“IPv4设置”,设置如下图

(我这里用的IP是192.168.107.160)107和160那个是随便写的,写自己喜欢的一个就行了(1-254)

(2)在终端,执行命令 vim  /etc/sysconfig/network-scripts/ifcfg-eth0,进去修改IPADDR,NETMASK,GATEWAY为之前设置的,记得BOOTPROTO要设置为“static”,然后保存。执行ifconfig可以查看配置效果。

(3)修改主机名和映射文件

修改主机名,执行命令 vim /etc/sysconfig/network,将主机名修改为master(此修改需要重启后生效),下面是修改后查看效果。

修改映射文件,执行命令vim /etc/hosts,将映射关系填入,我这里的slave1和slave2为后面要建立的子节点,下面是修改后查看效果。

此时即可重启一下系统,使主机名修改生效。

三、JDK安装与配置

1、首先需要检测一下是否存在自带的jdk

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值