Hadoop基本组件和HDFS的目标

Hadoop由HDFS、YARN和MapReduce三个组件构成,专注于硬件容错、流式数据访问和大数据集处理。HDFS提供了一次写多次读的文件一致性模型,支持移动计算到数据所在位置。Hadoop设计考虑了跨平台的便捷访问。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

3.3 Hadoop基本组件
Hadoop实际是由三个不同的组件构成:
● HDFS:Hadoop分布式文件系统。
● YARN:一个资源调度框架。
● MapReduce:一个分布式处理框架。

1. HDFS的目标
● 硬件容错。
检测硬件错误并从有问题的硬件快速自动恢复,就成为HDFS架构的核心目标。
● 流式数据访问。
流式访问就是对数据边读取边处理,而不是将整个数据集读取完成后再开始处理。
● 支持大数据集。
HDFS中一个典型文件的大小是几GB到几TB。HDFS需要支持大文件,它应该提供很大的数据带宽,能够在单一集群中扩展几百甚至数千个节点,并且一个HDFS实例应该能够支持几千万个文件。
● 简单的一致性模型。
HDFS应用程序访问文件是一次写多次读模式。文件一旦被创建,对该文件只能执行追加或彻底清除操作。追加的内容只能写到文件尾部,而文件中已有的任何内容都不能被更新。
● 移动计算而不是移动数据。
通常,将计算移动到临近数据的位置,比把数据移动到应用运行的位置要好。HDFS为应用程序提供接口,把计算移动到数据所在位置。
● 便捷访问异构的软硬件平台。
HDFS能够很容易地从一个平台迁移到另一个,这种便利性使HDFS为大量应用程序所采用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值