本文详细介绍了Hadoop分布式文件系统HDFS，包括其优点如高容错性、适合大数据处理，以及缺点如低延迟访问的不足。HDFS采用固定大小的数据块进行存储，NameNode作为元数据管理，DataNode负责数据存储。SecondaryNameNode协助NameNode合并元数据。HDFS支持高吞吐量的数据读写，但不适用于小文件存取和随机修改。文件权限与Linux类似，安全模式确保数据完整性。
Hadoop简介
- 分布式存储系统HDFS （Hadoop Distributed File System）
- 分布式存储系统
- 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务
- 分布式计算框架MapReduce
- 分布式计算框架
- 具有 易于编程、高容错性和高扩展性等优点
HDFS优点：
- 高容错性
- 数据自动保存多个副本
- 副本丢失后，自动恢复
- 适合批处理
- 移动计算而非数据
- 数据位置暴露给计算框架
- 适合大数据处理
- GB 、TB 、甚至PB 级数据
- 百万规模以上的文件数量
- 10K+ 节点
- – 可构建在廉价机器上
- 通过多副本提高可靠性
- 提供了容错和恢复 机制
HDFS缺点：
- 低延迟数据访问
- 比如毫秒级
- 低延迟与高吞吐率
- 小文件存取
- 占用NameNode 大量内存
- 寻道时间超过读取时间
- 并发写入、文件随机修改
- 一个文件只能有一个写者
- 仅支持append
最低0.47元/天 解锁文章
扫一扫
2748
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
