HDFS之联邦

最新推荐文章于 2025-02-26 08:59:00 发布
最新推荐文章于 2025-02-26 08:59:00 发布
阅读量887 收藏
点赞数 1
分类专栏： HDFS 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zincooo/article/details/131088127
版权
文章探讨了HDFS在大规模集群中的JVM瓶颈问题，介绍了Hadoop通过引入联邦架构来解决这一问题。联邦允许使用多个独立的Namenodes和Namespaces，每个Namenode管理自己的Blockpool，实现存储共享，提高了系统的可扩展性和性能。此外，还讨论了联邦配置、Balancer的使用以及Decommissioning过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

jvm瓶颈

HDFS 是 Hadoop 自带的原生存储系统，随着这些年的发展，HDFS 已经成为大数据生态的存储标准，但是同样也可以看到 HDFS 虽然不断优化，然而对于一个超大规模的集群来说，jvm的瓶颈始终无法突破。对于这种情况，hadoop官方使用联邦的解决方案解决了该限制。

常规HDFS

在这里插入图片描述

介绍联邦之前，首先先看下官方给出的HDFS的组成图，由两层组成：

  • Namespace：包含集群所有的目录、文件和块元数据，以及对他们的增删改查操作

  • Block Storage Service(也由两部分组成)：

Block Management(运行在namenode)，作用如下：

1.负责集群所有datanode的注册及接收周期性心跳

2.处理块报告并维护所有block的位置

3.负责所有块的增删改查操作

4.管理副本，如对副本不足的blocks执行复制、删除超过副本数的blocks

Storage：

由所有datanodes提供的在本地系统存储块及读写访问

联邦

在这里插入图片描述

Multiple Namenodes/Namespaces：

联邦的实现是使用多个独立的 Namenodes/namespaces来实现横向扩展name service。也就是使用多个Namenode(与HA无关，生产HA+联邦基本是4个namenode)。

独立的block pool

对于联邦HDFS，可以看到有多个nn(即namenode)，每个nn都各自对应着一个block pool(两者在一起称为一个Namespace Volume)，他们是独立的且整体的。每个Namespace Volume都可以接受新请求并为新块生成block IDs。所以其中一个nn失败也并不会影响到其他nn。

共用存储

同时，也能看到这些namenode共用集群中所有的datanode的存储、接收所有datanode的周期心跳及块报告。这样也代表每个datanode要注册到所有的namenode。

联邦的优势

  • namespace的可扩展性：可以横向扩展，这样在大规模部署及大量小文件的集群可以通过扩展来增加命名空间。

  • 高性能：文件系统的吞吐不再被单个nn所限制，横向扩展可以增加读写的吞吐量

  • 隔离：在多用户环境中单个nn无法形成隔离。例如，一个application可能会导致nn过载并减慢生产关键application的速度。通过横向扩展，不同种类的application可以在不同的namespace间进行隔离。

Federation Configuration

Configuration

关于如何配置 核心的几项就这几个了

  1. 对于配置HA集群基本只配置一个nameservices及两个namenode 同理这里增加nameservices及namenode配置即可。两个为一组挂到不同的nameservices下
    在这里插入图片描述
    然后再增加rpc、http的address配置

  2. 格式化namenode
    ClusterID：用于识别集群所有节点的标识符。格式化一个namenode时，可以手动指定也可以自动生成。其他nn格式化也需用相同的id。

  • 格式化第一组的namenode
[hdfs]$ $HADOOP_HOME/bin/hdfs namenode -format [-clusterId <cluster_id>]

格式化完成之后 在这组的另一个nn上执行hdfs namenode -bootstrapStandby 同步信息

  • 相同的格式化第二组的namenode 并同步第二组另一个nn的信息

格式化成功完成之后 启动进程即可

Balancer

balancer也已经可以在多个nn中间使用

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start balancer [-policy <policy>]

policy参数有两个选择：

  • datanode：默认的选择。只会在datanode层面进行balancer，与之前版本的使用一样

  • blockpool：此选择会在block pool及datanode 两个层面进行balancer

Decommissoning

deconmmissoning操作与之前版本是基本一致的。将需要退役的节点加入到所有nn的exculde文件中，每个nn都会退役它所属的block pool。当datanode在所有nn的状态中都退役完成之后，它才真正被退役。

  1. 可以使用如下命令分发exclude文件到所有nn：
[hdfs]$ $HADOOP_HOME/sbin/distribute-exclude.sh <exclude_file>
  1. 然后刷新所有的nn即可
[hdfs]$ $HADOOP_HOME/sbin/refresh-namenodes.sh

Cluster Web console

使用联邦时，集群web控制台可以在http://<any_nn_host:port>/dfsclusterhealth.jsp

查看联邦集群。(任何Namenode都可以访问此页面)。

主要有以下信息：

  • 集群摘要，包括文件、块数量，所有的存储容量、已使用及剩余容量均可查看

  • 所有nn的列表，包括文件、块数量、丢失的块、存活与死亡的节点数。以及每个nn web ui的链接

  • datanode的退役状态

HDFS联邦机制：扩展NameNode，提升集群规模
AI天才研究院
06-07 657
HDFS联邦机制：扩展NameNode，提升集群规模 1.背景介绍 随着大数据技术的迅猛发展，Hadoop分布式文件系统（HDFS）成为了处理海量数据的核心组件。然而，传统的HDFS架构中，单一NameNode的设计限制了系统的扩展性和可靠性。为了应对这一挑战，HDFS引
Hadoop集群搭建实验之HDFS联邦集群部署
weixin_43636211的博客
11-12 1304
什么是NameNode联邦（HDFS联邦，Hadoop联邦）？ 单个 NameNode 的集群架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程用于存放元数据的内存可能会达到上百 G，NameNode 成为了性能瓶颈。为了解决NameNode内存不足导致无法存放更多元数据的瓶颈，提出了 NameNode 的水平扩展方案： HDFS Federat...
HDFS Federation(联邦)+ViewFS+HA
08-31
在HDP环境的基础上，关于HDFS联邦+ViewFS+HA的详细配置，对于需要引入HDFS联邦特性的工作有帮助
HDFS的联邦机制
loser与你
09-09 1994
HDFS的联邦机制 1.HDFS1.X架构  HDFS1.X架构从逻辑上可以分为两层：命名空间管理层和数据块存储管理层。其中数据块存储管理层又分为数据块管理和存储管理两部分。  Namenode实现了命名空间管理层以及数据块存储管理层中的数据块管理功能，而Datanode则实现了数据块存储管理层中的存储管理部分。  HDFS1.X架构使用一个Namenode来管理文件系统的命名空间以及数据块信息，使得HDFS的实现非常简单，但是单一的Namenode会导致以下缺点：  (1)由于Namenode在内存中保存
HDFS联邦机制与HA
最新发布
weixin_59868842的博客
02-26 1011
hdfs 联邦机制 hdfs高可用HA
HDFS Federation联邦机制
赵广陆
12-08 1439
目录1 当前HDFS体系架构1.1 简介2 HDFS Federation架构2.1 简介2.2 好处3 HDFS Federation配置示例 1 当前HDFS体系架构 1.1 简介 当前的HDFS架构有两个主要的层： ➢ 命名空间 （ namespace ） HDFS体系结构中的命名空间层由文件，块和目录组成。该层支持与名称空间相关的文件系统操作，例如创建，删除，修改和列出文件和目录。 ➢ 块存储层 （ Block Storage ） 块存储层包括两个部分： 块管理： NameNode执行块
HDFS 联邦
Laoddaaa的博客
08-04 1172
HDFS Federation 水平扩展，支持多个NameNode 所有的NameNode 共享所有的DataNode存储资源 每一个NameNode 分管一部分目录（block pool）
Hadoop-HDFS联邦
胡俊辉的博客
04-13 654
在单NameNode 的架构中，一个NameNode 管理一个Namespace，NameNode 管理的元数据会全部加载到其内存中，而单台NameNode所在的节点的内存是有上限的，因此也会造成NameNode 的存储瓶颈；再者，所有的HDFS客户端都操作同一NameNode，文件系统的吞吐量也有上限。
【赵渝强老师】基于RBF的HDFS联邦架构
赵渝强老师优快云博客主页
08-18 641
在最新的Hadoop版本中又实现了基于Router的联盟架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来，解决了ViewFS存在的问题。【赵渝强老师】基于RBF的HDFS联邦架构为了对用户屏蔽联盟的实现细节，将ViewFS的配置和实现从客户端中剥离出来，一个自然的想法引入新的代理服务，客户端直接请求代理服务，再由其解析ViewFS后将请求转发给正确的子集群。这个代理服务叫做Router。
Hadoop集群搭建实验(4) _HDFS Federation联邦集群部署
qq_35447918的博客
10-23 1212
参考文章： https://blog.youkuaiyun.com/pengxiaozhen1111/article/details/88095914 https://blog.youkuaiyun.com/wild46cat/article/details/53423472 https://blog.youkuaiyun.com/qq_39532946/article/details/76461110 https://my...
HDFS Federation(HDFS 联邦)（hadoop2.3）
亡の剑指
04-11 1279
最早接触Federation这个词还是第一家公司用的DB2联邦数据库。 第一代hadoop HDFS： 结构上由一个namenode和众多datanode组成。 功能上划分为namespace和block storage service 两部分。 所谓的HDFS Federation就是有多个namenode（或者说namespace）。 如图：
Hadoop 教程 - Hadoop HDFS Federation联邦机制
qq_33240556的博客
06-26 761
HDFS Federation通过引入多个独立的NameNode解决了这些问题，每个NameNode管理自己独立的命名空间（Namespace），这样就实现了命名空间的水平分割。每个命名空间都是一套完整的文件系统目录树，拥有自己的目录、文件和块信息。这些NameNode共享底层的DataNode存储资源，但它们之间的命名空间是逻辑上隔离的。
HDFS~联邦
feizuiku0116的博客
05-06 857
一、联邦的介绍 联邦就是将多个NameNode公用一群DataNode来存储数据。每个NameNode都有自己的目录树，他们在DataNode上使用不同的目录存储自己的HDFS文件块，互不通信，互不干扰，谁也不知道谁 二、使用联邦的原因 因为NameNode把目录树保存在内存中，而内存是有限的，一个NameNode可以管理的文件数量有限，而DataNode通过添加节点可以认为是无限的，于是NameNode的能力无法匹配DataNode的容量，为了避免浪费DataNode就出现了联邦 三、名字空间NameSp
HDFS联邦机制
weixin_56648524的博客
08-14 301
HDFS集群中的Datanode提供数据块的共享存储功能，每个Datanode都会向集群中所有的Namenode注册，且周期性地向所有的Namenode发送心跳和块汇报，然后执行Namenode通过响应发回的Namenode指令。(2)由于HDFS文件的读写流程都涉及与Namenode交互，所以文件系统的吞吐量受限于单个Namenode的处理能力。(1)由于Namenode在内存中保存整个文件系统的元数据，所以Namenode内存的大小直接限制了文件系统的大小。...
简述联邦HDFS
weixin_34113237的博客
03-21 252
为什么80%的码农都做不了架构师？>>> ...
深入HDFS——联邦（Federation）
从知识输入到知识输出
01-21 877
梳理了HDFS如何通过Federation提升NameNode横向拓展能力的。
HDFS Federation（联邦）简介
fighting_DW
11-28 2457
HDFS Federation（联邦）简介
HDFS的联邦（federation）
IronWring_Fly的博客
09-18 399
联邦（Federation）   早期的HDFS只有一个namenode，维护一个namespace，如果namenode节点挂掉，整个系统都将不可用，数据节点的数据也将丢失。为了分散风险，加入了多个namenode，每个namenode按照一定规则（Client side mount table 客户端挂载表）分管集群的一部分任务。   一个datanode维护一个data volume，包括d...
hdfs联邦技术的优缺点
09-06
HDFS联邦技术是Hadoop分布式文件系统（HDFS）的一种扩展方式，旨在解决传统单NameNode架构的扩展性和高可用性限制。HDFS联邦通过引入多个NameNode来管理不同的命名空间，这样可以在多个NameNode之间分配和负载均衡存储资源，从而提高整体系统的性能和扩展性。下面是HDFS联邦技术的一些优缺点： 优点： 1. 高扩展性：HDFS联邦允许多个NameNode并行工作，避免了单点瓶颈，使得系统能够更容易地扩展以应对更大规模的数据存储需求。 2. 命名空间隔离：不同的NameNode可以管理不同的命名空间，这样可以实现命名空间之间的隔离，为不同用户提供独立的空间，降低命名空间的耦合度。 3. 改进高可用性：HDFS联邦提供了多个NameNode，即使其中一个或几个NameNode出现故障，其他NameNode仍然可以继续工作，从而提高了系统的整体高可用性。 4. 容量规划灵活：可以针对不同的NameNode配置不同级别的硬件资源，便于根据业务需求进行灵活的容量规划。 缺点： 1. 复杂性增加：引入多个NameNode增加了系统的复杂度，需要更多的管理工作来维护多个NameNode之间的数据一致性和负载均衡。 2. 数据迁移成本：从单NameNode迁移到联邦架构可能需要迁移大量现有数据，这个过程可能会比较复杂且成本高昂。 3. 兼容性问题：在引入联邦特性后，可能会影响到与现有HDFS生态系统的兼容性，例如一些第三方工具可能需要更新以支持联邦特性。 4. 成本考虑：虽然HDFS联邦技术提供了扩展性，但同时也意味着需要更多的硬件资源，这可能会导致成本的增加。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值