hadoop文件上传解析

首先hadoop文件上传是一个复杂的过程,下面就让我们一下图为例进行简单的过程解析。


由上图客户端上传一个文件,比如上述路径,首先hadoop平台查询内存元数据信息是否可以上传,如果可以那么namenode会分配需要上传的datanode数信息,然后通知客户端可以进行文件上传此过程会使用远程调用框架技术(RPC),这里不在复述,然后客户端根据返回树信息进行文件上传,上传成功之后datanode通过管道方式进行副本复制,若成功则返回给namenode,记录edit日志,若满足checkpoint,hdfs使用通过算法生成新的fsimge和新的editlog,然后更新内存中元数据信息,并删除原有的faimage;如果副本复制不成功则返回namenode,然后namenode根据日志信息从新分配block块信息然后进行副本生成成功之后与上述一样。这就是hadoop上传文件的简单的流程。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值