CenOS7 Hadoop集群搭建(二)

1、集群规划:

预创建3台虚拟机,IP规划如下:

192.168.124.129 master
192.168.124.130 slave1
192.168.124.131 slave2

配置hosts文件
vi /etc/hosts
在这里插入图片描述

关闭防火墙:

启动: systemctl start firewalld
关闭: systemctl stop firewalld
查看状态: systemctl status firewalld
开机禁用 : systemctl disable firewalld
开机启用 : systemctl enable firewalld

2.克隆两台节点机slave1,slave2

master节点关机状态下,右键master选择 管理 -->克隆

点击下一步
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

设置虚拟机名称和位置
在这里插入图片描述
同样方式克隆slave2节点

完成后

点击slave1 ,编辑虚拟机设置
在这里插入图片描述

在这里插入图片描述

生成新的mac地址,避免与master产生冲突
在这里插入图片描述
点击确定

在这里插入图片描述
克隆slave2也同上

分别修改克隆后两个节点的主机名:
hostnamectl --static set-hostname slave1
hostnamectl --static set-hostname slave2
重启:reboot

主机名分别变成slave1和slave2,就设置成功啦,也可用hostname查看

### 构建Hadoop集群并安装配置Hive #### Hadoop集群的构建 为了在CentOS 7环境中建立一个功能性的Hadoop集群,首先需要确保操作系统已经更新至最新状态,并关闭防火墙和服务隔离设置以便于节点间的通信。接着按照标准流程下载、解压缩Hadoop进制文件到指定位置。 对于Hadoop配置而言,需编辑`core-site.xml`来设定NameNode地址[^4]: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://server1:9000</value> </property> </configuration> ``` 还需调整`hadoop-env.sh`中的JAVA_HOME路径以匹配本地Java安装情况。 启动HDFS之前要格式化Namenode: ```bash hdfs namenode -format ``` 最后通过如下命令初始化整个分布式文件系统服务: ```bash start-dfs.sh start-yarn.sh ``` #### Hive的安装与配置 完成上述准备工作之后可以继续进行Hive组件的部署工作。从Apache官方网站获取稳定版本包后将其放置于合适的位置并创建软链接方便管理[^1]。 针对环境变量部分,在全局配置文件中追加必要的PATH声明使得shell能够识别hive指令集: ```bash export HIVE_HOME=/path/to/hive-3.1.3 export PATH=$PATH:$HIVE_HOME/bin source /etc/profile ``` 考虑到元数据存储需求,建议预先准备好MySQL数据库实例作为外部仓库支持[^2]。这一步骤可通过yum工具快速实现自动化部署过程。 另外值得注意的是,在首次运行前应当利用Hadoop客户端API提前构造好临时目录结构供后续操作使用[^3]: ```bash hadoop fs -mkdir -p /tmp/hive ``` 以上即是在CentOS 7平台上搭建Hadoop集群并与之集成Hive所需遵循的主要步骤概述。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值