我们都知道,Hadoop是一个由Apache基金会所开发的基于分布式系统基础架构。使用用户可以在不了解分布式底层细节的情况下,进行分布式程序开发。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),不但包括分部署文件系统,而且还包括MapReduce计算,其中一个组件是HDFS。
一.Hadoop部署
以下以三台服务器节点为例,叙述hadoop集群的部署过程,它们分别如下:
192.168.0.1 #作为主节点
192.168.0.2
192.168.0.3
本次部署,使用appuser用户登录,将hadoop-3.2.1.tar.gz压缩文件解压到当前目录,最终文件存储目录为/appuser/hadoop-3.2.1,待配置完成后分别分发到其他相同目录的节点。
1. 文件配置准备
1.0 创建文件夹
进入到hadoop-3.2.1目录下分别创建文件夹;
hadoop-3.2.1/hdfs
hadoop-3.2.1/hdfs/name #命名节点目录
hadoop-3.2.1/hdfs/tmp #临时文件目录
hadoop-3.2.1/hdfs/data #数据存储目录
1.1 配置hadoop-env.sh
cd /appuser/hadoop-3.2.1/etc/hadoop到目录,配置文件内容如下:
export JAVA_HOME=/usr/java/jdk1.8.0_151
1.2 配置workers
cd /appuser/hadoop-3.2.1/etc/hadoop到目录,配置另外两个节点为Slave worker节点
192.168.0.2
192.168.0.3
1.3 配置core-site.xml文件
cd /appuser/hadoop-3.2.1/etc/hadoop到目录,配置文件内容如下。注意在服务重启时,可能会出现失败,此时需要检查/appuser/hadoop-3.2.1/hdfs/tmp目录下的VERSION文件,确保每个节点VERSION版本相同,如果不同,统一用其中一个节点内容替代。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.0.1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir<name>
<value>file:/appuser/hadoop-3.2.1/hdfs/tmp</value>
<description>临时目录</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>

本文详细介绍了Hadoop集群的部署步骤,包括配置文件调整、格式化及启动检查等,并对比了Hadoop与Minio的区别,指出两者在对象存储和服务提供上的不同。
最低0.47元/天 解锁文章
332

被折叠的 条评论
为什么被折叠?



