Hadoop的HDFS以及YARN简介

本文介绍了Hadoop的分布式存储系统HDFS,包括其主要优缺点、功能模块如NameNode、SecondaryNameNode、DataNode等,以及读写流程。此外,还探讨了Hadoop2.0的高可用特性、ZooKeeper的角色和YARN的资源管理任务调度流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop的HDFS以及YARN简介

Hadoop分布式系统简介

  • Hadoop是分布式的系统架构,是Apache基金会顶级金牌项目

  • 来源:三大论文GFS、MapReduce、 Bigtable

  • 创始人:Doug cutting

Hadoop分布式系统重要部分

  • HDFS
  • YARN
  • MapReduce
  • Zookeeper
  • Hive
  • Hbase

HDFS(分布式存储系统)

  • 用途:解决大数据的存储问题

主要优缺点

  • 优点:
    • 分布式的特性
    • 适合大数据处理
    • 百万规模以上的文件数量
    • 适合批处理
    • 移动计算而非数据(MR),数据位置暴露给计算框架
    • 高可靠性,高容错性
  • 缺点
    • 低延迟高数据吞吐访问问题
    • 小文件读取占大量内存
    • 不支持文件修改

功能模块

数据存储单元(block)

文件被切分成固定大小的数据块block

默认数据块大小为128MB(Hadoop2.x)

数据大小不足一个block存成一个block

block为逻辑概念&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值