大数据Hadoop（十五）：Hadoop的联邦机制 Federation

已于 2022-10-05 00:44:28 修改
阅读量2.7k 收藏 10
点赞数 14
CC 4.0 BY-SA版权
分类专栏： 大数据入门核心技术 # Hadoop 文章标签： Hadoop的联邦机制
于 2021-05-28 01:02:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaoweite1/article/details/117341955
Hadoop的联邦机制Federation旨在解决单NameNode架构的性能瓶颈，通过多个独立的NameNode和命名空间实现水平扩展。每个NameNode管理一部分元数据，DataNode向所有NameNode注册并发送心跳与块报告，共享集群存储资源。虽然Federation增加了可用性，但单个NameNode仍存在单点故障，通常配合高可用(HA)方案使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 文章目录

Hadoop的联邦机制 Federation

背景概述

Federation架构设计

HDFS Federation加高可用

Hadoop的联邦机制 Federation

背景概述

单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode进程使用的内存可能会达到上百G，NameNode成为了性能的瓶颈。因而提出了namenode水平扩展方案-- Federation。

Federation中文意思为联邦,联盟，是NameNode的Federation,也就是会有多个NameNode。多个NameNode的情况意味着有多个namespace(命名空间)，区别于HA模式下的多NameNode，它们是拥有着同一个namespace。现有的HDFS数据管理架构,如下图所示:

了解本专栏 订阅专栏 解锁全文
大规模数据处理：Hadoop的联邦机制
CodeHeroicX的博客
08-29 586
为了解决这些问题，Hadoop引入了联邦机制（Federation），允许将数据分布在多个独立的集群上，从而实现更高的性能和可扩展性。每个集群的主节点都维护着自己的命名空间和文件系统图，但它们之间会共享一些关键的元数据信息，例如文件和块的位置信息。这样，当一个集群需要访问另一个集群的数据时，它可以通过共享的元数据信息找到所需数据的位置，并将请求发送到相应的集群进行处理。Hadoop的联邦机制允许用户创建多个独立的Hadoop集群，每个集群都有自己的主节点（NameNode）和数据节点（DataNode）。
Hadoop Federation（HA+Federation）
wzc8961661的博客
03-12 2475
学习目标简介Federation 架构设计 简介 单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百 G，NameNode 成为了性能的瓶颈。因而提出了 namenode 水平扩展方案——Federation。 Federation 中文意思为联邦,联盟，是 NameNode 的 Federation...
Hadoop的联邦机制
m0_57498038的博客
04-22 405
Hadoop的联邦机制 1.1 为什么会出现联邦？ Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。 2.1 联邦的实现 采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。 如图： 图中概念： • block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所有的pool，block pool之间的管理是独...
Hadoop Federation
大数据流浪法师的学习笔记与分享
12-05 353
单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode进程使用的内存可能会达到上百G，NameNode成为了性能的瓶颈。 因而提出了namenode水平扩展方案-- Federation。 Federation中文意思为联邦,联盟，是NameNode的Federation,也就是会有多个NameNode。 多个NameNode的情况意味着有多...
Hadoop的Federation机制
最新发布
Supplant的博客
06-09 941
HDFS提供了一种Federation机制，该机制允许单个HDFS存在多个NameNode，从而解决了HDFS的存储能力受单个NameNode的内存限制的问题，而且还可以提高HDFS读写数据的效率。
Hadoop联邦模式搭建
别人笑我太疯癫，我笑他人看不穿。
08-24 1283
在Hadoop架构中提供了三类搭建方式，第一类是给测试或开发人员使用的伪分布式或单NN节点搭建方式，第二类是用来商用化并解决NN单点故障的HA搭建方式，第三类就是这里要说的联邦模式，它本身也是一种供给商用的模式，但是它的应用在国内不多，它是用来解决HA单ActionNN压力问题的，在技术顶设上，一个Hadoop集群内部同一时间只允许存在一个生效的NN，但是当你的数据量非常庞大，庞大到你的DataNode资源已经不能用海量形容的地步时，你觉得一个NN能够提供稳定可行的元数据维护吗？
HDFS Federation(HDFS 联邦)（hadoop2.3）
亡の剑指
04-11 1301
最早接触Federation这个词还是第一家公司用的DB2联邦数据库。 第一代hadoop HDFS： 结构上由一个namenode和众多datanode组成。 功能上划分为namespace和block storage service 两部分。 所谓的HDFS Federation就是有多个namenode（或者说namespace）。 如图：
大数据系列三：Hadoop HA+Federation(联邦)
dustzhu的博客
06-25 934
一.前言 为什么需要Federation(联邦)？ HA虽然提供了两个名称节点，解决了单点故障问题，但某时刻只有一个是活动状态，并没有解决可扩展性，系统性能，隔离性问题。 Federation(联邦)设计了多个相互独立的名称节点，使命名服务能水平扩展，这些节点分别进行各自命名空间和块管理，相互之间是联邦关系，不需要相互协调，降低了复杂性。 Federation(联邦)的核心可以说是viewfs,这个技术像什么呢！通俗点讲，和nfs挂载有点类似，如下图hdfs提供了统一的挂载点app&doc，其背后对
Hadoop2.0 Federation: 概述与架构解析
"Hadoop2.0的高可用性和联邦特性" 在Hadoop1.0版本中，HDFS（Hadoop Distributed File System）的元数据管理存在明显的局限性，所有元数据集中在单个NameNode上，这导致了NameNode的资源瓶颈和高负载问题。为了解决...
大数据-HadoopLearning【程序员VIP专用】.zip
09-03
在HDFS的高可用与Federation联邦部分，教程将讲解如何通过多个 Namenode 构建高可用的Hadoop集群，并通过Federation联邦机制扩展命名空间，提高集群的伸缩性和性能。 MapReduce是Hadoop的核心计算模型，用于处理大...
Hadoop 教程 - Hadoop HDFS Federation联邦机制
qq_33240556的博客
06-26 867
HDFS Federation通过引入多个独立的NameNode解决了这些问题，每个NameNode管理自己独立的命名空间（Namespace），这样就实现了命名空间的水平分割。每个命名空间都是一套完整的文件系统目录树，拥有自己的目录、文件和块信息。这些NameNode共享底层的DataNode存储资源，但它们之间的命名空间是逻辑上隔离的。
《Hadoop权威指南》之Federation(联邦)初体验
凌夜知惜
03-09 409
当面度超大规模的存储时，HDFS的namenode节点的内存可能会吃不消，所以在Hadoop 2.x版本中提供了联邦来解决这个问题 解决思路是Federation允许HDFS集群添加多个Namnode来扩展集群即一个Namenode存不下太多的元数据就让多个Namenode来存储，每个Namenode只存储一部分 逻辑结构如下 一个Namenode存不下的元数据被分配到多个Namenod...
5 Hadoop Federation 联邦
weixin_39563769的博客
08-27 881
注意：如果是第一次启动集群，需要进行初始化，只有第一次启动的时候才需要初始化。
hadoop HA、Federation(联邦)
weixin_39950222的博客
08-29 349
高可用性HA：尽量缩短因日常维护操作(计划)、突发的系统奔溃(非计划)所导致的停机时间，提高系统和应用的可用性 一、背景： 只有一个namenode 的HDFS集群存在单点故障： 1、namenode机器宕机(非计划内)，导致集群不可用，需要重启。 2、namenode节点软件或硬件升级(计划内)，导致集群不可用 解决上述问题，hadoop HDFS高可用HA方案，HDFS通常由两个na...
hadoop Federation联邦机制介绍
一亩三分地
02-02 1103
前面的博客介绍了HDFS HA的实现方式,HA主要解决了"单点故障"的问题,但是在系统扩展性、整体性能和隔离性方面仍然存在问题。 （1）   系统扩展性方面，元数据存储在NN内存中，会受到NN内存上限的制约。 （2）   整体性能方面，吞吐量受单个NN的影响。 （3）   隔离性方面，一个程序可能会影响其他运行的程序，如一个程序消耗过多资源导致其他程序无法顺利运行。HDFS HA本质上还是...
hadoop federation 与hadoop HA
11-06 605
hadoop federation 与hadoop HA
Hadoop笔记（5）HA和联邦机制
haveanybody的博客
04-25 1576
https://www.cnblogs.com/qcloud1001/p/7693476.html
hadoop Federation（联邦）简介
热门推荐
学习笔记
05-31 1万+
在hadoop1.x中HDFS的架构文件的存储是放在块上的（Block Storage） 文件的元数据是放在namenode上的，只有一个Namespace（命名空间）。随着HDFS的数据越来越多，单个namenode的资源使用必然会达到上限，而且namenode的负载能力也会越来越高，限制HDFS的性能。hdfs主要有两层架构： 1.命名空间（namespace） 由目录、文件、块组成。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值