题1、HDFS存储机制

(1)客户端向namenode请求上传文件 ,namenode检查目标文件是否已存在 ,父目录是否存在。
(2)namenode返回是否可以上传。
(3)客户端请求第一个 block上传到哪几个datanode服务器上。
(4)namenode返回3个datanode节点 ,分别为dn1、dn2、dn3。
(5)客户端请求dn1上传数据 ,dn1收到请求会继续调用dn2 ,然后dn2调用dn3 ,将这个通信管道建立完成。
(6)dn1、dn2、dn3逐级应答客户端
(7)客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位 ,dn1 收到一个packet就会传
给dn2 ,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。
(8)当一个block传输完成之后 ,客户端再次请求namenode上传第二个block的服务器。(重复执行3-7步)
题2、SecondaryNameNode 工作机制
第一阶段 :namenode启动
(1)第一次启动namenode格式化后 ,创建fsimage和edits文件。如果不是第一次启动 ,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)namenode记录操作日志 ,更新滚动日志。
(4)namenode在内存中对数据进行增删改查。
第二阶段 :Secondary NameNode工作
(1)Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。
(2)Secondary NameNode请求执行c

最低0.47元/天 解锁文章
6899

被折叠的 条评论
为什么被折叠?



