6.大数据技术之hadoop体系（HDFS、YARN）

 

HDFS的体系结构

NameNode: HDFS的主要管理者；接受客户端的请求，比如说，将本地文件上传到HDFS上；维护文件的元信息（fsimage文件）和操作日志（edit文件）

文件的元信息（fsimage文件）：一个文件上传到HDFS上，文件会被切成一份份的数据块，记录这些数据块的文件就是文件的元信息

打开虚拟机，进入 ~/training/hadoop-2.7.3/tmp/dfs/name/current目录，看到fsimage*******文件就是文件的元信息，这个文件记录着HDFS上数据块的保存位置（数据块保存在哪个节点上），但此文件是二进制的文件，不能查看

操作日志文件（edit文件）: 记录着客户端的所有操作的日志文件

文件的位置与fsimage文件在同一个目录下，其中edits_inprogress_*********文件详细记录着用户的每个操作

DataNode: 数据节点（伪分布式一个， 全分布式至少两个），主要用于保存文件的数据块（hadoop1.x 数据块为64M， hadoop2.x数据块为128M）