Hadoop分布式文件系统数据流:文件读取与写入

本文深入探讨HDFS的文件读取与写入流程,详细分析了datanode节点距离计算,故障处理策略,以及数据块的错误检测与修复机制。强调了这种设计对HDFS稳定性的影响及对namenode的负载优化。

文件读取(流程图):

节点距离:两个datanode节点分别到他们最近的共同父节点距离的和(举例:相同机架不同服务器节点距离为2,相同机房不同机架节点距离为4,相同数据中心不同机房节点距离为6)

在读取过程中如果某datanode节点宕机,就会找下一个datanode去拉取数据,并且client会记下此节点,下次读取数据时直接跳过此节点

若拉取回的数据块损坏,则到下一个datanode节点拉取数据,并且clien记下此节点,然后向datanode汇报此datanode节点上该数据块有错误,namenode会删除此块,并且重新复制一份复本

这样设计的好处是减轻namenode负担,可以承载并发,读取数据的主要操作全在datanode和client上,对hdfs的稳定性没有影响

HDFS一般是存少读多,这种情况下只要保证namenode正常工作,负载不大就可以了。

文件写入(流程):

上传数据时会把每个block切分成一个个的packet,chunk校验

个人网站: mew.zone 欢迎到访~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值