Hadoop HDFS(分布式文件系统)--存储

1.客户端

(1)写入流程 (传给一个节点,此节点传给别的)

(2)读取流程 (从多个节点同时下载)

2.NameNode(元数据服务器--即映射关系)

(1)Active NameNode(记录) 主

元数据(映射关系)--内存(读取快)

映射关系是会变的,没必要持久化

文件 --内存和硬盘

集群宕机

fsimage:由副的NameNode进行合并操作得到

其中1.可以减少io次数

前三条:恢复文件-->文件块

第四条:恢复文件块 -->数据节点

(2)Standby NameNode(记录) 备

fsimage(合并):

(3)ZKFC选主 --解决单节点故障

(通过连接ZooKeepr和NameNode)Active 和Standby

脑裂问题

(4) QJM共享存储系统(日志)--解决元数据(edit)丢失

独立的小型文件系统 (元数据(edit)是最全的)

(5)机架感知策略:(2种)--返回上传可用节点

(6)网络拓朴图:(返回下载可用节点---排序后)

3.DateNode(数据服务器)

联邦机制(NameNode)--共用DataNode集群

实现了命名空间的功能

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值