自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 收藏
  • 关注

原创 MapReduce的shuffle过程

Map 方法之后,Reduce 方法之前的数据处理过程称之为 Shuffle。

2024-03-07 16:35:31 638

原创 HDFS写入流程

如果收到成功的ACK,ResponseProcessor线程会将确认队列ackQueue中删除对应的package,如果写入失败,会将ackQueue里的package置入 data Queue重传。3.客户端会调用输出流对象的write()方法,这个方法会通过RPC的方式调NameNode是我addBlock()方法。1.hdfs Client 客户端调用DistributedFileSystem的creat()方法,这个方法会通过RPC远程过程调用的方式,调用NameNode的creat()方法。

2024-03-07 13:16:51 1560 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除