HDFS介绍

HDFS 基本介绍

目标：掌握什么是HDFS，HDFS的使用场景，组成部分。

HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。

分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。

HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个 Namenode 和一定数目的Datanode 组成。Namenode 是 HDFS 集群主节点，Datanode 是 HDFS 集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

NameNode（Master）管理者            - 只负责管理，管理集群内各个节点。
SecondaryNameNode 辅助管理          – 只负责辅助NameNode管理工作。
DataNode(Slave) 工作者，是负责工作，周期向NameNode汇报，进行读写数据。

1. HDFS集群包括，NameNode和DataNode以及Secondary Namenode。
2. NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。
3. DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。
4. Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息