2-3HDFS原理（Hadoop系列day02）

hdfs架构

Metadata–>元数据

元数据信息，
内存保留一份，磁盘保留一份
（为了快速读取，保存在内存；
为了防止丢失，序列化到硬盘一份）

元数据存储细节

元数据存储细节

： 文件名，几个副本，分成几块，每块存放在哪台主机上

namenode是啥

namenode维护文件路径树。

接收客服端请求。

操作datanode

fsimage:元数据镜像文件（内存中的元数据序列化到磁盘上的文件）

NameNode的工作特点

SecondaryNameNode

下载、合并、推送

画图总结工作流程

client要上传数据，首先根NameNade打交道。
1.client发送一个请求信息给NameNade：请求查看NameNade的元数据（Metadata）信息。
2.NameNade将信息反馈给client
3.client拿到这些信息，开始往DataNode写数据。
3.1 与此同时，NameNade操作edits文件。
3.2不管写成功还是失败，edits文件都要记录一条信息。（标示位记录成功或失败）
3.3 如果成功了，edits记录内容为：文件名称、存放位置、被分成几块。 日志信息+1 ，edits文件返回，然后修改内存中的Metadata，内存中的Metadata也+1（多了一条信息）.————-这个时候fsimage内容没有+1.（内存中Metadata数据和fsimage数据没有完全同步）

例子：你在一个月之前向我们的hdfs上传了两个文件（原来hdfs没有文件），接下来一个月没有做任何操作。
内存中的Metadata应该有几分信息的描述信息？ 答：2条。（内存当中的Metadata是实时更新的）
磁盘上的fsimage应该有几分信息的描述信息？答：2条。（一个月SecondaryNameNode合并工作都进行好多次了）
edits有几分信息的描述信息？答：2条不对。（edits与fsimage文件合并之后，edits文件会产生信息，为了以后记录新的edits）

一个月之后。我又想上传一个文件。client发送一个请求信息给NameNade，请求查看NameNade的Metadata；NameNade将信息反馈给client；.client拿到这些信息，开始往DataNode写数据。假设数据写成功了。edits存的描述信息加了一条，将结果返回，接着修改Metadata。
这个时候Metadata一共存放了3条描述信息。edits一共存放了1条。 fsimage存放了2条。现在内存中和fsimage中的数据不同步了怎样才能同步？当满足一定的条件，SecondaryNameNode要工作了，他把edits和fsimage文件获取到，进行合并。数据同步了。

合并的时机有几个？ 1.满足一定的时间，ok.2.当edits达到一定大小。