Hadoop的部署与Minio区别

最新推荐文章于 2025-10-21 19:46:44 发布

原创

最新推荐文章于 2025-10-21 19:46:44 发布 · 5.7k 阅读

4 ·

CC 4.0 BY-SA版权

本文详细介绍了Hadoop集群的部署步骤，包括配置文件调整、格式化及启动检查等，并对比了Hadoop与Minio的区别，指出两者在对象存储和服务提供上的不同。

我们都知道，Hadoop是一个由Apache基金会所开发的基于分布式系统基础架构。使用用户可以在不了解分布式底层细节的情况下，进行分布式程序开发。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），不但包括分部署文件系统，而且还包括MapReduce计算，其中一个组件是HDFS。

一.Hadoop部署

以下以三台服务器节点为例，叙述hadoop集群的部署过程，它们分别如下：
192.168.0.1 #作为主节点
192.168.0.2
192.168.0.3
本次部署，使用appuser用户登录，将hadoop-3.2.1.tar.gz压缩文件解压到当前目录，最终文件存储目录为/appuser/hadoop-3.2.1，待配置完成后分别分发到其他相同目录的节点。

1. 文件配置准备

1.0 创建文件夹

进入到hadoop-3.2.1目录下分别创建文件夹；

 hadoop-3.2.1/hdfs
 hadoop-3.2.1/hdfs/name  #命名节点目录
 hadoop-3.2.1/hdfs/tmp   #临时文件目录
 hadoop-3.2.1/hdfs/data  #数据存储目录

1.1 配置hadoop-env.sh

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置文件内容如下：

export JAVA_HOME=/usr/java/jdk1.8.0_151

1.2 配置workers

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置另外两个节点为Slave worker节点

192.168.0.2
192.168.0.3

1.3 配置core-site.xml文件

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置文件内容如下。注意在服务重启时，可能会出现失败，此时需要检查/appuser/hadoop-3.2.1/hdfs/tmp目录下的VERSION文件，确保每个节点VERSION版本相同，如果不同，统一用其中一个节点内容替代。

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.0.1:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir<name>
		<value>file:/appuser/hadoop-3.2.1/hdfs/tmp</value>
		<description>临时目录</description>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>