《Hadoop权威指南》之Federation(联邦)初体验

最新推荐文章于 2025-06-09 09:30:16 发布
原创 最新推荐文章于 2025-06-09 09:30:16 发布 · 430 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

为应对HDFS在处理超大规模存储时Namenode内存不足的问题，Hadoop 2.x引入了联邦机制。通过增设多个Namenode分散元数据存储压力，每个Namenode仅负责一部分命名空间，实现集群扩展。

当面度超大规模的存储时，HDFS的namenode节点的内存可能会吃不消，所以在Hadoop 2.x版本中提供了联邦来解决这个问题

解决思路是Federation允许HDFS集群添加多个Namnode来扩展集群即一个Namenode存不下太多的元数据就让多个Namenode来存储，每个Namenode只存储一部分

逻辑结构如下

一个Namenode存不下的元数据被分配到多个Namenode存储

一般情况下一个namenode维护一个命名空间的一个目录

大规模数据处理：Hadoop的联邦机制
CodeHeroicX的博客
08-29 644
为了解决这些问题，Hadoop引入了联邦机制（Federation），允许将数据分布在多个独立的集群上，从而实现更高的性能和可扩展性。每个集群的主节点都维护着自己的命名空间和文件系统图，但它们之间会共享一些关键的元数据信息，例如文件和块的位置信息。这样，当一个集群需要访问另一个集群的数据时，它可以通过共享的元数据信息找到所需数据的位置，并将请求发送到相应的集群进行处理。Hadoop的联邦机制允许用户创建多个独立的Hadoop集群，每个集群都有自己的主节点（NameNode）和数据节点（DataNode）。
Hadoop联邦模式搭建
别人笑我太疯癫，我笑他人看不穿。
08-24 1382
在Hadoop架构中提供了三类搭建方式，第一类是给测试或开发人员使用的伪分布式或单NN节点搭建方式，第二类是用来商用化并解决NN单点故障的HA搭建方式，第三类就是这里要说的联邦模式，它本身也是一种供给商用的模式，但是它的应用在国内不多，它是用来解决HA单ActionNN压力问题的，在技术顶设上，一个Hadoop集群内部同一时间只允许存在一个生效的NN，但是当你的数据量非常庞大，庞大到你的DataNode资源已经不能用海量形容的地步时，你觉得一个NN能够提供稳定可行的元数据维护吗？
Hadoop的联邦机制
m0_57498038的博客
04-22 426
Hadoop的联邦机制 1.1 为什么会出现联邦？ Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。 2.1 联邦的实现 采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。 如图： 图中概念： • block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所有的pool，block pool之间的管理是独...
Hadoop Federation
大数据流浪法师的学习笔记与分享
12-05 446
单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode进程使用的内存可能会达到上百G，NameNode成为了性能的瓶颈。 因而提出了namenode水平扩展方案-- Federation。 Federation中文意思为联邦,联盟，是NameNode的Federation,也就是会有多个NameNode。 多个NameNode的情况意味着有多...
Hadoop权威指南第三版
05-01
### Hadoop权威指南第三版知识点概述 #### 一、Hadoop简介与背景 - **Hadoop的历史**: 本书首先介绍了Hadoop的起源和发展历程。Hadoop最初由Doug Cutting和Mike Cafarella于2006年在雅虎创建，旨在解决大规模数据...
《Hadoop权威指南3》高清中文版：大数据学习必备
《Hadoop权威指南》是学习和使用Hadoop的重要参考书籍，其中第三版针对最新的Hadoop3.x版本进行了更新和补充。 ## Hadoop 3的关键特性和更新 ### 核心组件 Hadoop主要由以下几个核心组件构成： - Hadoop Common：...
深入解读《Hadoop权威指南》第三版
随着Hadoop技术的不断发展，它还引入了更多高级特性，比如Hadoop联邦（Hadoop Federation）允许集群有多个命名节点，以实现更大规模的存储；Hadoop安全项目（Kerberos集成）提供身份验证和授权，以保证数据和资源的...
Hadoop权威指南第三版：HDFS与MapReduce核心解析
《Hadoop权威指南第三版》是一部系统、全面且深入讲解Hadoop生态系统及其核心技术的经典著作，尤其适用于大数据领域的开发者、架构师、数据工程师以及对分布式计算感兴趣的科研人员。本书以理论结合实践的方式，详细...
深入剖析Hadoop：分块存储机制的权威指南
[深入剖析Hadoop：分块存储机制的权威指南](https://media.geeksforgeeks.org/wp-content/uploads/20200621121959/3164-1.png) # 1. Hadoop分块存储概述 在大数据存储领域，Hadoop作为一个开源框架，已经成为处理...
Hadoop 教程 - Hadoop HDFS Federation联邦机制
qq_33240556的博客
06-26 984
HDFS Federation通过引入多个独立的NameNode解决了这些问题，每个NameNode管理自己独立的命名空间（Namespace），这样就实现了命名空间的水平分割。每个命名空间都是一套完整的文件系统目录树，拥有自己的目录、文件和块信息。这些NameNode共享底层的DataNode存储资源，但它们之间的命名空间是逻辑上隔离的。
Hadoop的Federation机制
最新发布
Supplant的博客
06-09 1087
HDFS提供了一种Federation机制，该机制允许单个HDFS存在多个NameNode，从而解决了HDFS的存储能力受单个NameNode的内存限制的问题，而且还可以提高HDFS读写数据的效率。
Hadoop生态圈（十）- HDFS Federation联邦机制
程序园@大Null
01-19 1862
HDFS Federation配置示例，HDFS Federation架构，HDFS Federation好处，当前HDFS体系架构
Hadoop-HDFS（十） Hadoop Federation（了解）联邦
奥迪的博客
01-18 227
10 Hadoop Federation （了解）联邦 10.1 NameNode 需要多少内存 问题：NameNode 需要多大的内存？ 业界看法：1GB 内存放 1，000，000block 元数据。 200 个节点的集群中每个节点有 24TB 存储空间，block 大小为 128MB，block 复制因子为 3，能存储大概 12500,000 个 block（或更多）：200×24,000,000MB/(128MB×3)。此时，NameNode 内存大概需要 12.5GB。 5000 个节.
Hadoop-HDFS联邦
胡俊辉的博客
04-13 745
在单NameNode 的架构中，一个NameNode 管理一个Namespace，NameNode 管理的元数据会全部加载到其内存中，而单台NameNode所在的节点的内存是有上限的，因此也会造成NameNode 的存储瓶颈；再者，所有的HDFS客户端都操作同一NameNode，文件系统的吞吐量也有上限。
Hadoop笔记（5）HA和联邦机制
haveanybody的博客
04-25 1650
https://www.cnblogs.com/qcloud1001/p/7693476.html
Hadoop 2.0联邦机制
what_how_why2020的博客
02-18 1665
前言：Hadoop2.0中的联邦机制
Hadoop生态圈（四）HDFS读写流程和联邦机制
傅红雪的专栏
09-25 646
①客户端通过调用 FileSystem 对象的 open() 方法来打开希望读取的文件，对于HDFS来说，这个对象是 DistributedFileSystem 的一个实例。②DistributedFileSystem 通过使用远程过程调用(RPC)来调用 NameNode，以确定文件起始块的位置。③对于每一个块， NameNode 返回存有该块副本的 DataNode 地址。此外，这些 DataNode 根据它们与客户端的距离来排序(根据集群的网络拓扑)。
hadoop的高可用机制和联邦机制
冥更的博客
02-05 1499
1. hadoop的高可用机制 高可用机制主要是解决NameNode单点故障问题 在Hadoop 中，NameNode 所处的位置是非常重要的，整个HDFS文件系统的元数据信息都由NameNode 来管理，NameNode的可用性直接决定了Hadoop 的可用性，一旦NameNode进程不能工作了，就会影响整个集群的正常使用。所以在实际应用中一般会使用高可用集群（HA），在hadoop集群中配置两...
Hadoop权威指南：深入学习之旅
"Hadoop的权威指南是一本由Tom White编写的关于学习Hadoop的重要书籍，由Doug Cutting作序。本书由O'Reilly Media出版，旨在为读者提供全面深入的Hadoop知识，帮助读者掌握这个分布式计算框架的核心概念和技术。" ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值