Hadoop 部署之环境准备(一)

最新推荐文章于 2024-08-06 17:01:53 发布

wzlinux

最新推荐文章于 2024-08-06 17:01:53 发布

阅读量195

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wangzan18/article/details/85219928

本文详细介绍了一个包含Hadoop、Hive、HBase、Zookeeper和Spark的大数据集群搭建过程，包括软硬件规划、主机名解析、SSH互信配置、用户创建及权限设置、JDK安装等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、软硬件规划

ID	主机类型	主机名	IP	应用软件	操作系统	硬件配置
1	物理机	namenode01	192.168.1.200	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
2	物理机	datanode01	192.168.1.201	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
3	物理机	datanode02	192.168.1.202	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
4	物理机	datanode03	192.168.1.203	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储

我这里规划的角色不是太好，如果是四台机器，建议大家按照我们下面的分配

ZooKeeper
ZooKeeper Server：namenode01
HDFS
NameNode：namenode01
SecondaryNameNode：namenode01
DataNode：datanode[01-03]
YARN
ResourceManager：namenode01
NodeManager：datanode[01-03]
HBase
Master：namenode01
RegionServer：datanode[01-03]
Hive
HiveServer2：namenode01
Hive Metastore Server：namenode01
Spark
Master：namenode01
Worker：datanode[01-03]

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1
192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03

Hadoop 部署之环境准备(一)

三、配置 SSH 互信

在namenode01节点上面进行操作。

ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03

四、创建用户

创建用户（4台机器相同操作）

useradd hadoop && echo '123456' |passwd --stdin hadoop

使用命令visudo设置用户权限（4台机器相同操作），添加如下内容：

hadoop    ALL=(ALL)       ALL

五、JDK 的安装

下载JDK1.8，可以选择下载rpm包，直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html