本文探讨了HDFS中DirectoryScanner在扫描目录并处理块时，与append操作并发执行时可能存在的问题。DirectoryScanner无fs dataset锁，而append操作持有volume级别的写锁。分析了在特定情况下，DirectoryScanner扫描期间副本状态变化为RBW后的安全性，指出由于目录扫描和内存块的对应性，以及append操作的磁盘写锁机制，这种状态转换不会导致意外后果。
结论：
不存在问题。
DirectoryScanner周期性地运行，扫描整个DN磁盘上的块与内存里的块做比较。
删除那些内存里没有的但是在磁盘上存在的块， 处理重复块等等。
最近在更细粒度化DN锁。在看到ReplicaMap#replicas方法时，阅读相关代码。
发现DirectoryScanner#scan 与append操作在并发场景下的一致性问题，需要仔细思考一下。
DirectoryScanner#scan没有fs dataset锁。
append操作是volume级别写锁。
考虑下面的情况：
1、DirectoryScanner线程执行scan操作，然后执行完了下面这行代码，获取了所有的FINALIZED状态的副本信息。
final List<ReplicaInfo> bl =
订阅专栏 解锁全文
扫一扫
4824
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
