[学习笔记]初始Hadoop

本文介绍了Hadoop的核心组件,包括HDFS、MapReduce、Hive、HBase和Zookeeper的功能及应用场景,并对比了不同版本间的差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop的两个核心组成:
1、HDFS:分布式文件系统,存储海量的数据。
2、MapReduce:并行处理框架,实现任务分解和调度。


HIVE:通过SQL实现Hadoop任务,降低使用Hadoop使用的门槛
HBASE:存储结构化数据的分布式数据库;
和传统数据库区别,它放弃了事务特性,追求更高的扩展;
和HDFS区别,它提供数据的随机读写和实时访问,实现对表数据的读写功能
zookeeper:像一个动物管理员一样。监控(Hadoop集群里面每个节点的状态),管理整个集群的配置,维护节点之间数据的一致性等。


Hadoop的版本
第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,变成了稳定版, 而0.21.x和0.22.x则NameNode HA等新的重大特性。
第二代Hadoop包含两个版本,分别是0.23.x和2.x,它们完全不同于Hadoop 1.0,是一套全新的架构,均包含HDFS Federation和YARN两个系统,相比于0.23.x,2.x增加了NameNode HA和Wire-compatibility两个重大特性。
对于初学者ver1.X版本更容易上手和理解。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值