【HDFS联邦（2）】HDFS Router-based Federation官网解读：HDFSRouterFederation的架构、各组件基本原理

原创

已于 2023-12-27 12:56:39 修改 · 1.9k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #架构 #hadoop

于 2023-12-27 12:48:11 首次发布

文章探讨了HDFSRouterFederation如何解决NameNode的扩展限制，通过Router组件和StateStore管理namespace分区，实现子集群间的透明访问和数据平衡。还介绍了组件构成、部署流程及quotas管理等内容。

文章目录

本文主要参考官网：HDFSRouterFederation 对HDFSRouterFederation进行了解：

viewfs会带来的问题，HDFSRouterFederation是如何解决的

HDFSRouterFederation的架构、各组件基本原理说明

一. 介绍

NameNodes have scalability limits because of the metadata overhead comprised of inodes (files and directories) and file blocks, the number of Datanode heartbeats, and the number of HDFS RPC client requests. The common solution is to split the filesystem into smaller subclusters HDFS Federation and provide a federated view ViewFs. The problem is how to maintain the split of the subclusters (e.g., namespace partition), which forces users to connect to multiple subclusters and manage the allocation of folders/files to them.

因为元数据（文件和目录、文件块）的开销、datanode心跳管理以及HDFS RPC请求，namenode有对于datanode的拓展有限制。我们将文件系统分为几个子HDFS联邦系统，然后提供一个联邦的 ViewFs 。但会出现维护子集群的分裂(例如，namespace分区)的问题，这强制用户连接到多个子集群并管理文件夹/文件的分配。

二、HDFS Router-based Federation 架构

我们可以对联邦分区扩展可以添加一个管理namespace联邦的软件层。

架构特性

这个额外层允许用户透明的访问任何子系统，让子集群独立地管理自己的块池，并且将支持子集群之间的数据rebalancing。

Router-based Federation下的子集群不需要是独立的HDFS集群，也可以是普通的federation集群(包含多个块池)，或者是federation和独立集群的混合集群。

为了实现这些目标，联邦层需要将块访问引导到适当的子集群，维护名称空间的状态，并提供数据再平衡机制。所以这一层必须具有可伸缩性、高可用性和容错性。

架构组成

This federation layer comprises multiple components. The Router component that has the same interface as a NameNode, and forwards the client requests to the correct subcluster, based on ground-truth information from a State Store. The State Store combines a remote Mount Table (in the flavor of ViewFs, but shared betw