【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解（超详细必看）

一、相关基本概念

文件系统。文件系统是操作系统提供的用于解决“如何在磁盘上组织文件”的一系列方法和数据结构。

分布式文件系统。分布式文件系统是指利用多台计算机协同作用解决单台计算机所不能解决的存储问题的文件系统。如单机负载高、数据不安全等问题。

HDFS。英文全称为Hadoop Distributed File System，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，它是基于流式数据访问和处理超大文件的需求而开发的分布式文件系统，可以运行于廉价的商用服务器上。 HDFS 源于谷歌公司在2003年10月份发表的GFS（Google File System） 论文

二、HDFS存储架构

HDFS采用主从架构（Master/Slave架构）

HDFS集群是由一个NameNode和多个的 DataNode组成。

HDFS集群是由一个NameNode和多个的 DataNode组成

1：Namenode 

NameNode是HDFS集群的主服务器，通常称为名称节点或者主节点。一旦NameNode关闭，就无法访问Hadoop集群。NameNode主要以元数据的形式进行管理和存储，用于维护文件系统名称并管理客户端对文件的访问；NameNode记录对文件系统名称空间或其属性的任何更改操作；HDFS负责整个数据集群的管理，并且在配置文件中可以设置备份数量，这些信息都由NameNode存储。

2：Datanode

DataNode是HDFS集群中的从服务器，通常称为数