9、云计算基础与管理全解析

云计算基础与管理全解析

1. HDFS 基础架构

HDFS 采用主从架构，主要包含以下几个关键元素：

1.1 Namenode

Namenode 由运行 GNU/Linux 操作系统的通用硬件和 Namenode 软件组成。它作为主服务器，承担着以下重要任务：
- 管理文件系统的命名空间。
- 规范客户端对文件的访问。
- 执行文件系统操作，如重命名、关闭和打开文件及目录。

1.2 Datanode

Datanode 同样是运行 GNU/Linux 操作系统的通用硬件，并安装有 Datanode 软件。集群中的每个节点都配备一个 Datanode，负责管理本节点的数据存储。其主要功能如下：
- 根据客户端请求对文件系统进行读写操作。
- 按照 Namenode 的指令执行块的创建、删除和复制等操作。

1.3 Block

用户数据通常存储在 HDFS 的文件中，文件会被分割成一个或多个段，并存储在各个数据节点上，这些文件段被称为块。HDFS 读写的最小数据单位就是块，默认块大小为 64MB，可根据需求在 HDFS 配置中进行调整。

1.4 HDFS 的目标

• 故障检测与恢复 ：由于 HDFS 包含大量通用硬件，组件故障频繁发生，因此需要具备快速自动的故障检测和恢复机制。
• 处理海量数据集 ：每个集群应拥有数百个节点，以管理处理海量数据集的应用程序。