一、HDFS架构整体概述
- HDFS是Hadoop Distribute File System 的简称,意为:Hadoop分布式文件系统。
- HDFS是Hadoop核心组件之一,作为大数据生态圈最底层的分布式存储服务而存在。
- HDFS解决的问题就是大数据如何存储,它是横跨在多台计算机上的文件存储系统并且具有高度的容错能力。
二、HDFS架构图
- HDFS集群遵循主从架构(master/slave)。通常包括一个主节点和多个从节点。
- 在内部,文件分块存储,每个块根据复制因子存储在不同的从节点计算机上形成备份。
- 主节点存储和管理文件系统namespace,即有关文件块的信息,例如块位置,权限等;从节点存储文件的数据块。
- 主从各司其职,互相配合,共同对外提供分布式文件存储服务。当然内部细节对于用户来说是透明的。
三、HDFS集群角色介绍
- HDFS遵循主从架构。