Linux系统下小白安装HDFS（Hadoop分布式文件系统）教程

最新推荐文章于 2024-09-06 18:13:26 发布

原创最新推荐文章于 2024-09-06 18:13:26 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs #linux

这篇教程面向初学者，详述如何在Linux环境下安装HDFS。内容包括检查系统要求、下载最新Hadoop版本、解压安装、配置HDFS以及启动服务。确保系统运行CentOS 7以上且已装Java 8，然后从Apache官网获取Hadoop，通过wget下载，解压后移到/opt目录，编辑hdfs-site.xml和core-site.xml进行配置，最后启动HDFS并检查状态。

小白安装HDFS教程

本教程将帮助您在Linux操作系统上安装HDFS。 HDFS（Hadoop分布式文件系统）是Apache Hadoop生态系统的核心组件之一。

步骤 1：检查系统要求

在安装HDFS之前，请确保系统符合以下最低要求：

运行的Linux发行版为CentOS 7及以上
Java 8 运行环境已安装

步骤 2：下载Hadoop

访问Apache Hadoop官方网站（https://hadoop.apache.org/releases.html）下载页面。选择最新版本的Hadoop。
进入 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 页面，找到最新的稳定版本，复制下载链接。
在Linux系统上打开终端并使用wget下载Hadoop。
$ wget {Hadoop下载链接}
例如，如果您要下载Hadoop 3.3.0版本，则可以使用以下命令：
$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

步骤 3：解压Hadoop

在Linux系统上打开终端并使用tar命令解压Hadoop。

tar -xzf hadoop-3.3.0.tar.gz

这将在当前目录下创建一个名为hadoop-3.3.0的目录。
2. 将Hadoop移动到/opt目录下。

$ sudo mv hadoop-3.3.0 /opt/

步骤 4：配置HDFS

编辑hdfs-site.xml。

$ sudo nano /opt/hadoop-3.3.0/etc/hadoop/hdfs-site.xml

在 <configuration></configuration> 标记之间添加以下XML代码。

xml
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/opt/hadoop-3.3.0/dfs/name</value>
   </property>
   <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/opt/hadoop-3.3.0/dfs/data</value>
   </property>

编辑core-site.xml。
$ sudo nano /opt/hadoop-3.3.0/etc/hadoop/core-site.xml
在 <configuration></configuration> 标记之间添加以下XML代码。

xml
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
   </property>

步骤 5：启动HDFS

$ cd /opt/hadoop-3.3.0

格式化HDFS文件系统。

$ bin/hdfs namenode -format

启动HDFS。

$ sbin/start-dfs.sh

您可以访问http://localhost:9870/查看HDFS的状态。

结论

恭喜，您已经成功地安装并启动了HDFS！现在您可以开始使用Hadoop分布式文件系统了。