三：hadoop HA YEAR架构总结及各组件功能（原理总结）

最新推荐文章于 2024-09-25 08:50:23 发布
原创 最新推荐文章于 2024-09-25 08:50:23 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文总结了Hadoop的HA和YEAR架构，包括前期搭建规划、各组件功能，如HDFS HA利用ZKFC进行故障切换，DN向NN发送心跳。启动流程涉及ZooKeeper、JournalNode等。在架构对比中，强调了ZKFC、心跳方式和NN/RM选举的差异。Active NN通过JN与Standby NN同步数据，DN同时向两者汇报，确保快速Failover。

内容：在前面搭建和熟悉各组件启动流程下，今天总结下hadoop的HA YEAR架构，同时看看各组件的功能，理清启动顺序，并进行相关组件对比。
*
目录结构：

  1. 前期搭建规划
  2. hadoop HA 架构及功能
  3. hadoop YEAR架构及功能
  4. 启动/关闭流程总结
  5. 两架构对比及其它

1、前期搭建规划

在这里插入图片描述

2、hadoop HA 架构及功能

HDFS HA: 是为了解决单点故障问题，通过JN集群共享状态，通过ZKFC 选举active，监控状态，自动备援。DN会同时向active standby nn发送心跳。

在这里插入图片描述

3、hadoop YEAR架构及功能

在这里插入图片描述

4、启动/关闭流程总结

启动流程和架构里从上往下一致：

ZooKeeper -> JournalNode -> NameNode -> DataNode -> ZKFC

最低0.47元/天 解锁文章
【AI大数据计算原理与代码实例讲解】Spark SQL
AI天才研究院
06-04 1513
在当今大数据时代,海量数据的存储和处理给传统的数据处理方式带来了巨大挑战。企业需要从海量数据中快速获取有价值的信息,以支持业务决策和创新。然而,传统的数据处理技术如关系型数据库,在面对TB甚至PB级别的数据时,在性能和扩展性方面都显得力不从心。统一分析平台的崛起随着大数据技术的发展，越来越多的企业开始采用统一的分析平台来进行数据处理和分析。Spark SQL作为其中的重要组成部分，其应用将会越来越广泛。与机器学习的深度融合。
Hadoop2.0架构
我的学习成长日记
01-08 7212
打开Hadoop的官网，我们可以看到Hadoop2.0包括两个方面的要点： HDFS – Hadoop File System。 YARN – Yet Another Resource Negotiator 也称为MapReduce2.0，即MPv2其中HDFS是底层的存储系统。不仅Hadoop的底层存储可以使用HDFS，其他分布式计算系统也可以使用HDFS作为底层存储系统。HDFS与在Hado
Hadoop HA架构简述
cllblogs
10-05 1598
HDFS HA架构图
Hadoop各个组件大概介绍
03-07
Hadoop生态系统的组件介绍，简单说明，及其一些特性，和其他组件的区别，也有示图
Hadoop的组件有哪些，分别有什么作用
最新发布
2301_77836489的博客
09-25 913
Hadoop的组件有哪些。分别有什么作用
HDFS HA 架构及原理
weixin_30716725的博客
08-16 383
HDFS HA架构 HDFS HA原理 QJM 用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。这个原理是基于Paxos算法。在HA架构里面SecondaryNameNod...
【Hadoop集群中XML文件的实时处理】：架构设计与实施技术
![【Hadoop集群中XML文件的实时处理】：架构设计与实施技术]...本章将概述Hadoop集群的工作原理及其与XML文件处理的关系。 ## Hadoop集群简介 Hadoop集群主要由HDFS（Hadoop
Hadoop期末总复习
花开蝶自来
05-20 1620
Hadoop期末复习
猿创征文｜大数据之离线数据处理总结+思维导图（全面总结）
Chlin.Rei的博客
09-03 1545
大数据离线数据处理总结Linux常用命令Hadoopzookeeper分布式协调框架yarn资源调度框架mapreduce分布式离线计算引擎Scala语言 spark分析计算引擎hive数据根系工具sqoop数据导入导出工具flume数据采集工具azkaban分布式任务调度工具综合项目离线数仓分析项目
hadoop2体系结构
Make progress step by step everyday.....
02-10 704
http://www.cnblogs.com/meiyuanbao/p/3545929.html  要想理解本节内容，首先需要了解hadoop1的体系结构。在本博客中和我的视频中都有相关内容，这里不再重复，只讲hadoop2的内容。     hadoop1的核心组成是两部分，即HDFS和MapReduce。在hadoop2中变为HDFS和Yarn。     新的HDFS中的Nam
Hadoop-体系架构（非常完整）
08-10
本文对Hadoop体系架构的组成进行了全面的说明，对Hadoop体系的每个产品的作用、功能、使用方法等都进行了详细的描述。无论你是大数据方面的新手，还是大数据方面的专家，都能从中得到指引或启发。
[hadoop] HDFS组成架构及其作用
朱同学的博客
09-25 3665
1)NameNode:就是Master,它是一个主管,管理者 1 管理HDFS的目录结构; 2 配置副本策略 3 管理数据块(Block)映射信息 4 处理客户端读写请求 2)DataNode:就是Slave,NameNode下达命令,DataNode执行实际的操作 1 存储实际的数据块 2 执行数据块的读/写操作. 3)Client:就是客户端 1 文件切分.文件上传HDFS的时候,Client...
HDFS的组成及其功能
m0_61232019的博客
09-14 5850
client（客户端）：文件切分、与NameNode交互、获取文件的位置信息；与DataNode交互，读取或写入文件；（Master）：管理整个文件的元数据（命名空间信息，块信息）；（辅助工作者）：辅助NameNode；执行fsimage和edits的定期合作，并推送给NameNode。（Slave）：存储文件；执行数据块的读写操作。
Hadoop 2.0集群体系结构联合概述
qq_40784783的博客
01-21 553
Hadoop 2.0集群体系结构联合 介绍： 在这篇博客中，我将深入探讨Hadoop 2.0集群架构联盟。自Apache Hadoop 1.x发布以来，Apache Hadoop已经发展了很多。正如你在我之前的博客中所说的那样，HDFS体系结构遵循主/从拓扑结构，其中NameNode作为主守护进程，负责管理其他从属节点（称为DataNode）。在这个生态系统中，这个单一的主守护进程
Hadoop 2.0架构搭建
Ocean
10-30 588
节点担任的角色 NN DN JN ZK ZKFC RM node01 1 1 1 1 1 node02 1 1 1 1 1 1 node03 1 1 1 1 1.修改H...
HDFS2.0 HA实现
findzk的博客
10-31 357
Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务； ZKFailoverController（主备切换控制器，FC）：ZKFailoverController 作为独立的进程运行，对...
Hadoop体系结构
u011426317的博客
01-01 362
HDFS HA架构
qq_33405134的博客
08-24 332
hdfs简介： hdfs包含 NameNode、DataNode、SecondaryNamenode NameNode: 存储文件的元数据信息 fsiamge editlog 读写请求记录 DataNode: 存储实际的文件数据 SecondaryNamenode: 合并内存中edit los到fsimage文件中 -为什么要使用HA Hadoop生态圈大部分组件都是master/sla...
HDFS源码分析：Hadoop文件系统架构与核心组件解析
资源摘要信息:"Hadoop中HDFS源代码分析"是一份系统性地剖析Hadoop分布式文件系统（HDFS）核心架构与实现机制的技术文档，旨在通过深入解读HDFS的源代码，帮助开发者和大数据研究人员全面理解其底层运行原理。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值