hadoop

博客主要介绍了HDFS、YARN和MapReduce相关知识。涵盖HDFS架构、角色、读写文件、副本放置策略及新特性;YARN架构、角色和工作机制;MapReduce计算框架、作业流程、shuffle过程以及数据倾斜问题。

1.hdfs

1.1hdfs架构、

1.2 hdfs角色

1.2.4 Secondary NameNode(合并fimage、edit)

1.3hdfs读、写文件

1.4hdfs副本放置策略

1.5新特性

1.5.1联邦

1.5.2高可用

 

2.yarn

2.1yarn架构

2.2yarn角色

2.3yarn工作机制

 

3.map reduce

3.1计算框架

3.2作业流程

3.3shuffle

3.4数据倾斜

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值