聊聊HDFS RBF第二阶段的主要改进

前言

---

HDFS RBF特性（基于路由的Federation解决方案）已经在Apache Hadoop 3.0.0中正式发布了，此特性的发布将会大大方便于广大用户多于多集群的使用。另一方面来说，面对往后日益扩展，日益多样化的环境，单一，同构化的集群运行模式，不会是一个一劳永逸的方式了，异构，多集群的方式将会是一个趋势。其实在目前发布的版本中，HDFS RBF特性单纯实现了一个最基本功能的版本，里面还有很多地方可以继续完善，使之与当前的HDFS完全匹配，比如目前还没有支持的改进点有例如：webHDFS, 安全认证，Quota配额支持，ACL管控等等。不过不用担心，这些提到的点，社区都将会在RBF第二阶段的工作中进行完善（详见社区JIRA： HDFS-12615，想必听完大家都很期待吧。本文，笔者讲带领大家展望一下这方面的内容。

RBF第二阶段工作概述

---

由于笔者在过去2个月时间内，一直关注和参与了部分HDFS RBF第二阶段的工作，所以对这块还是比较熟悉的。针对目前第二阶段的工作进展，主要实现或正在实现了下面一些小特性：

已实现的：

• Mount table ACL管理，为每个mount table设置了ACL属性。这样每个用户只能管理自己权利范围之内的挂载点了。
• 全局Quota的支持。这里的Quota值是从各个子集群的Quota值进行汇聚所得。
• Router状态管理。类似于NameNode节点的运行/安全模式/下线这类状态的跟踪管理。
• Erasure Coding操作在RBF环境的支持。
• 其它改进。这个就比较泛了，比如单元测试的完善，日志信息的纠正改进或是其它一些小的改动等等。

正在实现中：

• RBF的WebHDFS实现。
• RBF内部实现kerberos认证。这是RBF内部对安全这块的