Hadoop_HA与联邦机制

最新推荐文章于 2022-01-04 17:59:22 发布
最新推荐文章于 2022-01-04 17:59:22 发布
阅读量406 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40929921/article/details/91785240
本文探讨了Hadoop HDFS存在的NameNode单点故障及内存限制问题，介绍了通过HA模式解决单点故障，利用HDFS Federation进行水平扩展以缓解NameNode压力。同时，讨论了MapReduce的问题及其对系统的影响，并讲解了整合ZK实现HA和联邦机制的配置流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据

HDFS存在的问题

​ •NameNode单点故障，难以应用于在线场景 HA

​ •NameNode压力过大，且内存受限，影扩展性 F

解决单点故障

​ •HDFS HA：通过主备NameNode解决

​ •如果主NameNode发生故障，则切换到备NameNode上

MapReduce存在的问题响系统

​ •JobTracker访问压力大，影响系统扩展性

​ •难以支持除MapReduce之外的计算框架，比如Spark、Storm等

解决内存受限问题

​ •HDFS Federation(联邦)

​ •水平扩展，支持多个NameNode；

​ •（2）每个NameNode分管一部分目录；

​ •（1）所有NameNode共享所有DataNode存储资源

HA模式

在这里插入图片描述

当分配主从NN时，2个NN和2个zkfc同时去zk集群中争抢一个锁，由两个zkfc同时去

zk特征： 目录树的数据结构 事件 session

考虑2种情况

​ 主NN故障，由主zkfc删掉zk中的节点，此时再由zkfc回调当时zk节点中的注册方法，将从NN升级为主NN

–事件传导的过程

​ 主zkfc故障，与zk链接断开并由zk创建session，一定时间没有回来，由zk删掉节点，将原主NN降为从NN，将原从NN升为主NN

整合ZK-联邦机制

在这里插入图片描述
HA配置过程（手动）

​ 1逻辑到物理的映射 NS到物理节点

​ 2 JN相关物理信息

​ 3 发生故障的切换方法和免秘钥的切换方法

Hadoop高可用+联邦机制简谈
CodingWithGakki
08-17 664
Hadoop HA及联邦机制配置指南一 Hadoop HA机制存在原因1.1 HA：High Available，高可用1.2 如何解决：1.3 集群规划样例：二 HAhadoop安装配置2.1 以3台机器配置 hadoop HA 为例2.2 提前工作2.3 Hadoop集群模式环境部署 HA一、服务节点的部署规划二、ZooKeeper 配置--分布式模式三、配置 Hadoop 集群1)、core-site.xml2)、hdfs-site.xml3)、mapred-site.xml4)、yarn-site.
Hadoop联邦模式搭建
别人笑我太疯癫，我笑他人看不穿。
08-24 1293
在Hadoop架构中提供了三类搭建方式，第一类是给测试或开发人员使用的伪分布式或单NN节点搭建方式，第二类是用来商用化并解决NN单点故障的HA搭建方式，第三类就是这里要说的联邦模式，它本身也是一种供给商用的模式，但是它的应用在国内不多，它是用来解决HA单ActionNN压力问题的，在技术顶设上，一个Hadoop集群内部同一时间只允许存在一个生效的NN，但是当你的数据量非常庞大，庞大到你的DataNode资源已经不能用海量形容的地步时，你觉得一个NN能够提供稳定可行的元数据维护吗？
Hadoop笔记（5）HA和联邦机制
haveanybody的博客
04-25 1581
https://www.cnblogs.com/qcloud1001/p/7693476.html
配置Hadoop2.0HDFS的HA以及联邦使用QJM
零度的博客专栏
10-09 2023
HA和联邦解释         相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦
大数据-HADOOP高可用、联邦机制- 学习笔记 -BH4
水滴的专栏
12-23 552
大数据-HADOOP高可用机制- 学习笔记 -BH4
Hadoop2.6 全分布式安装,配置了联邦
余音丶未散的博客
03-29 991
Hadoop全分布式安装2.6   共4台机器 hadoop01  namenode             zookeeper                  zkfc(zookeeper failover controller) hadoop02  namenode  datanode   zookeeper   journalnode    zkfc hadoop03
hadoop 2.2.0集群配置
xuefengmiao的专栏
05-02 543
 hadoop-2.2.0环境搭建      在这里我们选用4台机器进行示范，各台机器的职责如下表格所示   hadoop0 hadoop1 hadoop2 hadoop3 是NameNode吗? 是，属集群cluster1 是，属集群cluster1 是，属集群clust
大数据技术之HadoopHA - 视频教程带课件.zip
最新发布
05-29
目录： 01_HadoopHA_HDFS的单点故障.avi 02_HadoopHA_手动故障转移原理.avi 03_HadoopHA_手动故障转移配置.avi 04_HadoopHA_手动故障转移测试.avi 05_HadoopHA_手动故障转移注意点...10_HadoopHA_HDFS联邦概述.avi 课件
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
黑泽君
02-24 431
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
hadoop_3
04-18
- **Hadoop联邦**：支持多个独立命名空间，允许在一个集群中运行不同版本的 Hadoop，便于升级和管理。 6. **工具与接口更新**： - **HDFS命令行工具增强**：提供了更多的选项和参数，便于管理和监控文件系统。 -...
Hadoop联邦机制加HA容错机制详细配置说明-Hadoop商业环境实战
weixin_34143774的博客
12-19 153
本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。期待加入IOT时代最具战斗力的团队。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。 1 core-site.xml 配置： 1：配置统一视图viewfs:/// 2: 配置不同命名空间下，每一个H...
关于hadoop-ha联邦制集群搭建的注意事项
jackybooms的博客
10-07 563
在学习大数据的过程中避免不了要搭建各种分布式集群，能不能准确快速地搭好集群将关系到我们学习大数据效率的高低。由于之前没有一定的经验，所以在学习的过程中经常遇到各种问题。网上虽然有一些解决方案，但有时不完全有用，得结合自己的实际情况做出判断。今天就自己的学习心得分享给大家: 说明:本集群是在虚拟机linux的CentOS-6.7 64位版本上搭建的(当然不局限于该版本，但建议选择版本6.0以上的)
Hadoop生产环境搭建（含HA、Federation）
weixin_30462049的博客
04-15 177
Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。） 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml 3. 格式化并启动HDFS ...
HDFS的高可用机制（HA）与Hadoop联邦机制(Federation)概述
weixin_42603182的博客
01-04 3394
背景 分布式文件系统中( HDFS，Hadoop Distributed File System )，NameNode在内存中存储着整个文件系统的元数据信息，如文件数据块的地址映射、文件系统的命名空间、文件操作权限等。倘若NameNode节点主机一旦宕机，整个集群即将瘫痪，因此应采用高可用（HA）+联邦机制（Federation）的部署方案搭建集群。 高可用的Hadoop集群 在搭建Hadoop集群时，通常需要搭建多个NameNode，这样可以保证如果其中一个NameNode发生宕机，另一个NameNod
Hadoop——HDFS HA与联邦原理
Devin
04-22 9016
本节目标：1.了解Hadoop1.0的局限与不足2.掌握HDFS  2.0 的新特性1 Hadoop的局限与不足Hadoop1.0的核心组件MR和HDFS主要有几个不足：（1）   抽象层次低。对于简单的功能，编写大量的代码。（2）   表达能力有限。MR把复杂分布式编程工作高度抽象到两个函数上，即Map和Reduce上，实际生产环境中有些不能只用简单的两个函数完成。（3）   要管理作业间复杂的...
Hadoop——高可用（High Available，HA）模式与联邦机制（Federation）启蒙
Stay Hungry Stay Foolish
02-24 1208
虽说主从结构相对简单，但是公司中不会采用这种简单的主从结构，因为这会带来两个严重问题 若主节点发生故障，即单点故障，会造成整个集群不可用 主节点内存受限，压力过大 这是两个独立的问题，业内对于这两个问题给出了不同的解决方案，下面具体说明 Hadoop—高可用解决方案（HA） 所谓Hadoop高可用（HA）实际上就是配置多个Namenode，一个作为主机(Active)，其他作为备机(Stand...
如何配置Hadoop2.0HDFS的HA以及联邦使用QJM
红豆和绿豆的博客
01-19 1926
配置过程详述       大家从官网下载的apache hadoop2.2.0的代码是32位操作系统下编译的，不能使用64位的jdk。我下面部署的hadoop代码是自己的64位机器上重新编译过的。服务器都是64位的，本配置尽量模拟真实环境。大家可以以32位的操作系统做练习，这是没关系的。关于基本环境的详细配置，大家可以观看我的视频，或者浏览吴超沉思录的相关文章。     在这里我
HA联邦机制
Bazinga23333的博客
11-22 3224
为什么需要联邦机制？ 单NameNode的架构使得HDFS存在单点故障、内存受限，制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等文艺，为了解决这些问题，除了用基于共享存储的HA解决方案我们还可以用HDFS的Federation机制来解决这个问题 什么是联邦机制 联邦机制是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece (NameNode节点管理，两个为一对)以提高集群的拓展性和隔离性。 联邦HDFS允许每个NameNode管理一部分
Hadoop详解（五）：HDFS HA 和 Federation
Master-TJ的个人博客
01-23 1872
1. Hadoop 2.0 产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 Federation MapReduce存在的问题响 JobTracker访问压力大，影响系统扩展性 难以支持除MapReduce之外的计算...
深入讲解Hadoop2.5.1 HA与Federation配置指南
Hadoop2.5.1版本引入了高可用性（High Availability，简称HA）和联邦（Federation）特性，以解决早期版本单点故障和扩展性方面的限制。本文将详细介绍如何配置Hadoop2.5.1的HA+Federation架构，为使用者提供更为可靠...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值