hadoop相关原理图

最新推荐文章于 2021-07-30 14:34:42 发布

原创最新推荐文章于 2021-07-30 14:34:42 发布 · 185 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#原理图 #hadoop #大数据

大数据专栏收录该内容

13 篇文章

订阅专栏

本文详细探讨了Hadoop的高可用性（HA）机制，包括NameNode的故障迁移过程，联盟原理，以及负载均衡策略。此外，还介绍了HDFS启动的四个阶段、日志合并过程，以及MapReduce、YARN调度、Shuffle、HDFS上传和下载的图解说明，帮助读者深入理解Hadoop数据仓库和免密登录的工作流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop的HA

图解

在这里插入图片描述

失败迁移

当active状态的NameNode由于不可预知的原因突然挂掉时，ZK收不到心跳反馈，超过配置的最大等待时间后，将原来standby状态的NameNode置为Active状态，这时由新的Active的NameNode来想JurnalNode中写入日志文件，并响应客户端的请求

hadoop的联盟（Federation）

图解

联盟思想

负载均衡

每个NameNode 默认由1000M的缓存，多个NameNode可以加大这个缓存，从而提高查询速度

启动阶段

HDFS的启动有四个阶段

加载fsimage （nameNode完成）
加载edits (nameNode完成)
saving checkpoint (保存检查点，合并日志–有seconderyNameNode 来完成)
safemode 安全模式阶段,是hadoop的一种保护机制，DataNode会向NameNode上传它们数据块的列表，让 NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定的延迟时间。当最小副本条件未达到要求时，就会对副本数不足的数据块安排DataNode进行复制，直至达到最小副本数。而在安全模式下，系统会处于只读状态，NameNode不会处理任何块的复制和删除命令

在这里插入图片描述

日志合并过程

在这里插入图片描述

图解MapReduce

在这里插入图片描述

图解YARN的调度MR的过程

在这里插入图片描述

图解shuffle

在这里插入图片描述

图解hdfs的上传

在这里插入图片描述

图解hdfs的下载

在这里插入图片描述

图解数据仓库

在这里插入图片描述

图解免密登录

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。