后端分布式系列：分布式存储－HDFS 架构解析

本文以 Hadoop 提供的分布式文件系统（HDFS）为例来进一步展开解析分布式存储服务架构设计的要点。

架构目标

任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么？分布式文件系统属于分布式存储中的一种面向文件的数据模型，它需要解决单机文件系统面临的容量扩展和容错问题。

所以 HDFS 的架构设计目标就呼之欲出了：

1. 面向超大文件或大量的文件数据集
2. 自动检测局部的硬件错误并快速恢复

基于此目标，考虑应用场景出于简化设计和实现的目的，HDFS 假设了一种 write-once-read-many 的文件访问模型。这种一次写入并被大量读出的模型在现实中确实适应很多业务场景，架构设计的此类假设是合理的。正因为此类假设的存在，也限定了它的应用场景。

架构总揽

下面是一张来自官方文档的架构图：

从图中可见 HDFS 的架构包括三个部分，每个部分有各自清晰的职责划分。

1. NameNode
2. DataNode
3. Client

从图中可见，HDFS 采用的是中心总控式架构，NameNode 就是集群的中心节点。

NameNode

NameNode 的主要职责是管理整个文件系统的元信息（Metadata），元信息主要包括：

• File system namesapce
  HDFS 类似单机文件系统以目录树的形式组织文件，称为 file system namespace