Hadoop2.0架构

最新推荐文章于 2025-02-27 16:59:33 发布

OnlyQi

最新推荐文章于 2025-02-27 16:59:33 发布

阅读量7.1k

点赞数 2

分类专栏： Hadoop生态系统文章标签： hadoop mapreduce

本文链接：https://blog.youkuaiyun.com/OnlyQi/article/details/50484527

版权

Hadoop2.0引入了HDFS的High Availability方案和NameNode联盟，解决了NameNode单点故障和扩展性问题。YARN作为一个独立的资源管理与调度系统，包括ResourceManager、ApplicationMaster和NodeManager，实现了二级调度，增强了Hadoop的灵活性和可扩展性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

打开Hadoop的官网，我们可以看到Hadoop2.0包括两个module：
HDFS – Hadoop File System。
YARN – Yet Another Resource Negotiator 也称为MapReduce2.0，即MPv2

其中HDFS是底层的存储系统。不仅Hadoop的底层存储可以使用HDFS，其他分布式计算系统也可以使用HDFS作为底层存储系统。HDFS与在Hadoop1.0中有一些大的变化。而Hadoop2.0最重要的变化是新抽象出来的YARN，即独立的分布式资源管理与调度系统。YARN的出现主要为了解决Hadoop1.0中NameNode的瓶颈问题。了解Hadoop1.0的同学知道，在1.0中NameNode既是HDFS的主控服务器，也是JobTracker之所在，因此负载很高且容易单点失败。另外MapReduce作为分布式批处理计算范型，在2.0中没有什么改变。对Hadoop1.0不了解的同学建议先看看1.0的架构，这样有助于对2.0的理解：
http://blog.youkuaiyun.com/onlyqi/article/details/50478997
下面我们分别就HDFS和YARN做进一步讨论。

HDFS
首先我们来看HDFS的架构：
这里写图片描述