Hadoop YARN单点故障解决方案（HA）介绍

最新推荐文章于 2023-03-31 19:51:06 发布

转载

最新推荐文章于 2023-03-31 19:51:06 发布 · 759 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/1169079/blog/263699

文章标签：

#大数据 #python #jira

本文介绍了Apache Hadoop 2.2.0中YARN存在的单点故障问题及其在Cloudera CDH5-beta中的HA实现。YARN HA采用主备切换方式，借助Zookeeper进行状态共享，但目前的实现仍是粗粒度，可能导致任务重算或重启。文章探讨了YARN在资源管理和容错性方面的需求，并指出其HA解决方案仍有待完善以适应不同应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

在Apache Hadoop 2.0的第一个稳定版本2.2.0中，资源管理系统YARN存在单点故障，且尚未解决。YARN ResourceManage HA的相关jira为YARN-149，目前正在火热开发中，但尚未公布将来的发布版本。由于YARN是一个通用管理系统，是上层计算框架（MapReduce、Tez、Spark、Storm等）的基础服务，它的重要性不言而喻，提高它的可靠性和容错性是当务之急。

在Cloudera公司最新发布的CDH5（基于apache hadoop 2.2.0下载地址为：CDH5-beta-1下载）中，自带了YARN HA实现，尽管该版本目前为beta版，但考虑到该方案采用了Hadoop 2.0中自带的HA框架实现（HDFS HA和MapReduce HA均采用该框架实现），因此，具有一定通用性，本文将介绍CDH5-be