【Hadoop】- HDFS文件系统介绍

2019独角兽企业重金招聘Python工程师标准>>>

HDFS: Hadoop Distributed File System

特点：hadoop分布式的文件系统，具备高容错、部署方便的特点，master/slave架构

组件：NameNode和DataNode

• NameNode:名称节点，记录HDFS文件所在的Block的大小、部署位置等信息，类似文件索引信息的概念，充当master的角色，整个HDFS文件系统只有一个NamNode节点，为了保证Hadoop的高容错的特点，可以设置secondNameNode，对主NameNode进行数据备份，防止NameNode的单点故障造成HDFS文件系统的崩溃

• DataNode:HDFS文件具体存储数据的信息，类似数据仓库的概念，HDFS集群可以由多个DataNode组成，实现存储容量的动态扩容

---

工作流程

1. 客户端访问HDFS文件系统时，首先通过TCP协议发送数据给NameNode,NameNode根据内部维持的文件信息，将文件存储的相关信息反馈给客户端，客户端根据NameNode的响应信息，直接对该文件所在的DataNode节点进行读写操作

---

高容错的保障措施：

1. secondNameNode对NameNode进行数据备份，避免单点故障
2. DataNode与NameNode通过心跳信号进行通讯，确保DataNode出现故障之后能够进行相应的处理
3. 可以为每个数据块设置备份数，避免DataNode单节点故障造成数据丢失
4. HDFS提供一种Block动态分配的机制，如果DataNode存储的文件过多，HDFS会平衡各种因素，将重负荷的DataNode的数据进行其他DataNode的数据存储，避免单点DataNode负载过大，造成性能的降低

转载于:https://my.oschina.net/yangzhiwei256/blog/3014263