hadoop
关注
分享
扫一扫
有这么个程序员
自我成长的必修之路
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
关于Yarn-值得你看完的一篇文章
Yarn的诞生 MapReduce1.x存在的问题 : 单点故障以及节点压力不易扩散等等, 这也就直接催生了Yarn的诞生 Yarn的主要作用: 在不同的计算框架下,可以在同一个HDFS集群的数据中享受整体的资源调度,按资源需要进行分配,进而提高了集群资源的利用率! Yet Another Resource Ngotiator(另一种资源协调者) 通用资源管理系统 为上层应用提供统一的资源调度管...原创 2020-04-07 21:43:22 · 753 阅读 · 0 评论 -
MapReduce之Map,Reduce,Shuffle,Yarn的机制+流程图
MapReduce详细工作流程之Map阶段 例如图中所示: 我们要处理一个200M的文件 切片: 在client提交之前,我们需要先将文件按照128M每块进行切片 提交: 提交到本地工作环境过Yarn来处理 提交时会把每个任务封装成一个job交给Yarn来处理,计算出MapTask数量,每个MapTask并行执行 MapTask中执行Mapper的map方法,需要k,v作为键...原创 2020-04-07 16:57:32 · 428 阅读 · 0 评论 -
HDFS的高可用(HA)--------通俗易懂的分析
前言: (NN:NameNode ; DN:DataNode) HDFS的高可用(HA)也称为联邦HDFS,因为单个namenode在HDFS集群中可能发生单节点故障,一旦节点不可用,那么整个HDFS集群就会处于不可用状态. 现在,在Hadoop2.x之后,出现了HDFS的高可用(HA)来解决上述问题,在HDFS集群中运行两个namenode节点,一个作为活动的NN(Active Namen...原创 2020-04-05 22:43:20 · 1076 阅读 · 0 评论