本文深入探讨了HDFS中DFSPacket对象的lastPacketInBlock字段，揭示了它在客户端和DataNode侧的重要作用。在客户端，该字段用于控制endBlock并申请新块；在DataNode，它触发块的finalize和同步到磁盘。配置项`dfs.client.write.packet.sync.enable`影响block文件关闭时的内容同步。正确理解和配置此字段对于防止Block Missing问题至关重要。
这篇文章介绍了DFSPacket对象的lastPacketInBlock字段相关的知识。
【HDFS Client】DFSPacket对象什么情况下是lastPacketInBlock？
本文继续深挖lastPacketInBlock这个字段在HDFS Client写数据时的重要作用。
可以这么说，如果这个lastPacketInBlock出问题的话，是会影响增量块汇报（IBR）的，继而导致Block Missing丢块的问题。
我们先给出结论，lastPacketInBlock的两个重要作用：
1、在客户端侧控制endBlock，结束一个block，进而向namenode新申请新的块。
2、在datanode侧，控制block的finalize。
一、DataNode侧的作用
因为last packet in block只是一个标记packet，并没有真实的数据。
所以，在datanode侧，如果发现当前receive的packet是lastPacketInBlock的话，就会看是否有sync标记，
如果需要sync block，则flushOrSync(true, seqno)，把块给同
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
