HelloWorld

在《Hadoop-2.4.1源码分析--HDFS HeartBeat(心跳检测)之BPServiceActor工作线程运行流程》上、下两篇中，我们介绍了BPServiceActor工作线程的工作流程，即DN周期性发送心跳给NN的大致流程为：        1、连接NN并且完成两次握手。第一次握手获取命名空间信息并验证、设置；第二次握手完成DN的注册。        2、调用sendHear

HDFS，即Hadoop Distributed File System，为Hadoop的分布式文件系统。其实除了HDFS外，hadoop还支持其它类型的文件系统，比如FTP、本地文件系统等，而这些文件系统都扩展自抽象基础类FileSystem，该抽象类类提供了丰富的方法用于对文件系统进行操作，比如创建目录、删除文件、重命名等。无论使用的是HDFS还是本地文件系统，或者其它所支持的文件系统，推荐在

在上一篇文章《Hadoop源码分析--FileSystem的创建过程》中(阅读地址-----------------------------------------------------http://blog.youkuaiyun.com/u010010428/article/details/51378378)，我们分析了HDFS的DistributedFileSystem对象的创建过程，之后就可以按照HD

首先，在自己写的MR程序中通过org.apache.hadoop.mapreduce.Job来创建Job。配置好之后通过waitForCompletion()方法来提交Job。Hadoop版本是2.4.1。       进入waitForCompletion()方法，在判断状态state可以提交Job后，执行submit()方法。monitorAndPrintJob()方法

在上一篇文章《Hadoop源码分析--MapReduce作业(job)提交源码跟踪》中，我介绍了Job的提交过程源码，介绍的最后一个方法是submitJobInternal(Jobjob, Cluster cluster)，该方法向系统提交作业（该方法不仅设置mapper数量，还执行了一些其它操作如检查输出格式等），在该方法的第394行，涉及到如下一个方法--writeSplits()，该方法

最近一段时间都在读HDFS关于Heartbeat(心跳检测)的源码，读的过程中忽然想到了以前在项目中用到的、为Nginx做HA的Keepalived，当时并没有注意，现在发现二者很相像，但细想又有许多的不同，所以梳理了一下，总结如下：To Be Continued 。。。

HDFS全称是Hadoop Distribute FileSystem，即Hadoop分布式文件系统，有主从节点之分。在HDFS中，主节点是名字节点NameNode，它负责存储整个HDFS中文件元数据信息，保存了名字节点第一关系和名字节点第二关系。名字节点第一关系是文件与数据块的对应关系，在HDFS正常运行期间，保存在NameNode内存和FSImage文件中，并且在NameNode启动时就由FS

在上篇文章《Hadoop源码分析--HDFS HeartBeat(心跳检测)整体结构》中，详细了解了HDFS中关于心跳的整体结构，知道了BlockPoolManager、BPOfferService和BPServiceActor三者之间的关系。接下来，我们就开始研究HDFS心跳汇报之数据结构初始化。        首先，在DataNode节点启动时所必须执行的startDataNode()

在《Hadoop源码分析--HDFS HeartBeat(心跳检测)整体结构》一文中，我们了解到HDFS心跳相关的BlockPoolManager、BPOfferService、BPServiceActor三者之间的关系，并且知道最终HDFS的心跳是通过BPServiceActor线程实现的。那么，这个BPServiceActor线程到底是如何工作的呢？本文，我们将继续HDFS心跳分析之BPSer

在《Hadoop源码分析--HDFS HeartBeat(心跳检测)之BPServiceActor工作线程运行流程(上)》这篇文章中，我们介绍了BPServiceActor线程的工作大体流程，至于具体的细节部分，只是讲到了完成与NameNode的连接并进行两次握手的connectToNNAndHandshake()方法，还有一个offerService()方法，用于向NameNode发送心跳，并且

在《Hadoop-2.4.1源码分析--HDFS HeartBeat(心跳检测)之DataNode端数据块增量汇报》中，介绍了在DN中调用NN的代理实例bpNamenode的blockReceivedAndDeleted()方法，由它负责向NamNode发送RPC请求，根据我们之前讲的RPC原理，可以得知在NN端必定也有一个blockReceivedAndDeleted()方法，执行具体的RPC请