Hadoop学习--简介（1）

funNLPer

于 2020-05-07 22:34:18 发布

阅读量179

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： hadoop 大数据

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/105977515

Hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文深入解析Hadoop大数据处理框架，强调其高可靠性、高扩展性、高效性和高容错性的特点。涵盖Hadoop1.x与Hadoop2.x的区别，详细阐述HDFS、YARN及MapReduce架构原理，并探讨大数据技术生态系统的全貌。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Hadoop简介

1.1 Hadoop优势

高可靠性：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失
高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点
高效性：在MapReduce思想下，Hadoop是并行工作的
高容错性：能够自动将失败的任务重新分配

1.2 Hadoop组成（面试重点）

Hadoop1.x和Hadoop2.x区别
在这里插入图片描述

1.2.1 HDFS架构概述

在这里插入图片描述

1.2.2 YARN架构

在这里插入图片描述

1.2.3MapReduce架构

MapReduce将计算过程分为两个阶段，Map和Reduce；

Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总

如下图所示
在这里插入图片描述

1.3 大数据技术生态系统

在这里插入图片描述

1.4 推荐系统项目框架

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。