大数据学习（09）--Hadoop2.0介绍

最新推荐文章于 2022-04-11 21:35:25 发布

Zero-One-0101

最新推荐文章于 2022-04-11 21:35:25 发布

阅读量974

点赞数 1

CC 4.0 BY-SA版权

分类专栏： ML&DL-大数据学习文章标签：大数据 Hadoop2.0

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/wangzi11111111/article/details/89174251

ML&DL-大数据学习专栏收录该内容

16 篇文章

订阅专栏

本文深入探讨了Hadoop从1.0到2.0的进化历程，详细分析了Hadoop1.0的局限性及其在MapReduce和HDFS方面的不足，并介绍了Hadoop2.0如何通过引入YARN、HDFSHA和HDFSFederation等新特性来克服这些问题，同时对比了YARN与MapReduce1.0的不同，最后概述了Hadoop2.0生态中如Pig、Tez、Spark和Kafka等代表性组件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

目录

目录

1.Hadoop的发展与优化

1.1 Hadoop1.0 的不足与局限

主要针对于Hadoop1.0中两大核心组件：MapReduce和HDFS有以下几点不足：

抽象层次低，需要人工编码（MapReduce需要人为的写map和reduce函数）
表达能力有限（MapReduce）
开发者自己管理作业之间的依赖关系（MapReduce）
难以看清程序的整体逻辑（MapReduce）
执行迭代操作效率低（MapReduce每次迭代写磁盘）
资源浪费（map-slot与reduce-slot不能共用）
实时性差（适用于批处理，不支持实时交互）

1.2 Hadoop2.0 的改进与提升

在这里插入图片描述

hdfs fedration只是提供管理多个命名空间，每个节点还是存在单点故障的问题，所以需要集合HDFS HA一起使用，即对HDFS Fedration中的每个节点创建一个附属的名称节点，作为单个节点的热备份。
Hadoop1.0 中的第二名称节点不是一个热备份的功能，湿冷备份，具体请查看之前的博客。

在这里插入图片描述

2.HDFS2.0 的新特性

2.1 HDFS HA

在这里插入图片描述

HDFS HA

2.2 HDFS Federation

在这里插入图片描述

3. 新一代的资源管理器YARN

3.1 MapReduce1.0 缺陷

在这里插入图片描述

3.2 YARN的设计思路

在这里插入图片描述

在Hadoop1.0 中，MapReduce既是一个大数据计算框架，又是一个资源和任务调度管理框架。

3.3 YARN 体系结构

在这里插入图片描述

3.4 YARN工作流程

在这里插入图片描述

3.5 YARN框架与MapReduce1.0框架进行对比

在这里插入图片描述

3.6 YARN的发展目标

在这里插入图片描述

4.Hadoop2.0 生态中具有代表性的功能组件

4.1 Pig

在这里插入图片描述

4.2 Tez

在这里插入图片描述

Tez是对MapReduce中的map和reduce过程进行优化，所以只要最终只要转换为map和reduce操作的都可以使用Tez进行优化。

在这里插入图片描述

4.3 Spark

在这里插入图片描述

4.4 Kafka

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。