阿里P8级架构师整理总结的565页神仙文Hadoop 2.X HDFS源码剖析-优快云博客

前言

本文以Hadoop 2.6.0源码为基础，深入剖析了HDFS 2.X中各个模块的实现细节，包括RPC框架实现、Namenode实现Datanode实现以及HDFS客户端实现等。

阅读本文可以帮助读者从架构设计与源码实现角度了解HDFS 2.X,同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java 语言技巧以及编程规范等。

这些对于读者全面提高自己的技术水平有很大的帮助

因为内容实在是太多了，所以小编只把部分知识点拿出来粗略的介绍了一下，每个小节都有更加细化的内容。

总目录

主要内容

由于篇幅原因，本文并没有介绍HDFS实现中的一些基础知识，例如JavaNIO、动态代理、protobuf 等。而是直接切入源码分析HDFS的设计与实现，同时介绍了一些经典的设计模式、Java语言技巧在HDFS实现中的应用。希望读者在阅读本文之前，先搭建好源码环境，并了解相应的基础知识，这样学习效果会更好。

本文一共有5章，相互之间的联系比较紧密，有联系的小节都有注释标注，读者可以根据注释跳跃阅读。

第1章是HDFS概述，从总体上介绍了HDFS的组件、概念以及典型的流程，同时详细介绍了HDFS各个组件间RPC接口的定义。由于HDFS流程大都比较复杂，往往涉及多个组件的配合，读者在阅读后续的具体章节时，可以查阅本章内容获取某个流程的总体描述，以及RPC接口的具体定义。

第2章介绍了Hadoop RPC框架的实现，Hadoop RPC是HDFS各个组件间通信所依赖的底层框架，可以理解为HDFS的神经系统。通过阅读本章，读者可以学习到一个典型的分布式RPC框架的实现细节，在本章中会介绍较多的设计模式，编程模型以及语言技巧，请读者注重积累。

第3~5章分别介绍了Namenode、 Datanode 以及HDFS客户端这三个组件的实现细节，同时穿插介绍了HDFS 2.X的新特性，例如Namenode HA就放在Namenode章介绍，而Federation Namenode新特性对Datanode的修改比较多，所以就放在Datanode章介绍。

![image.png](https://upload-images.jianshu.io/upload_images/28070583-ffe16a9020a3b0b9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

第4章，Datanode (数据节点)，Datanode以存储数据块( Block)的形式保存HDFS文件，同时Datanode还会响应HDFS客户端读、写数据块的请求。Datanode 会周期性地向Namenode.上报心跳信息、数据块汇报信息(BlockReport)、缓存数据块汇报信息(CacheReport) 以及增量数据块块汇报信息。

Namenode会根据块汇报的内容，修改Namenode的命名空间(Namespace)，同时向Datanode返回名字节点指令。Datanode 会响应Namenode返回的名字节点指令，如创建、删除和复制数据块指令等。

第5章，HDFS客户端，前面两章介绍了HDFS数据节点(Datanode)、名字节点(Namenode)的实现细节，本章开始介绍HDFS客户端。HDFS目前提供了三个客户端接口: DistributedFileSystem、 FsShell和DFSAdmin。 DistributedFileSystem 为用户开发基于HDFS的应用程序提供了API; FsShell工具使用户可以通过HDFS Shell命令执行常见的文件系统操作，例如创建文件、删除文件、创建目录等; DFSAdmin 则向系统管理员提供了管理HDFS的工具，例如执行升级、管理安全模式等操作。

DistributedFileSystem、FsShell 以及DFSAdmin都是通过直接或者间接地持有DFSClient对象的引用，然后调用DFSClient提供的接口方法对HDFS进行管理和操作的。DFSClient类封装了HDFS复杂的交互逻辑，对外提供了简单的接口，所以本章以DFSClient类作为入口来研究和学习HDFS客户端的逻辑以及源码实现。