江山疯宇晴-优快云博客

原创 HDFS --- DataNode startup service initialize

OverviewDataNode

2013-10-31 14:30:41 721

原创 HDFS ---- Services startup

OverviewHDFS内部把各种功能通过各种服务的方式向外部提供。在启动的时候，HDFS主要启动以下一些服务：HTTPServer，用来动态查看当前系统状态；JVMPauseMonitor，用来记录当前运行的JVM是否曾经暂停过；NameNodeResourceChecker，定期检查当前系统可用的本地目录的可用空间；BlockManager，管理系统中所有与Block相关

2013-10-22 21:59:35 806

原创 HDFS --- Load FSNameSystem, FSImage, and initialize FSEditlog

OverviewNameNode 服务器，在启动的之初，必须先初始化自己的文件系统原数据，它是通FSNameSystem来实现这部分工作的，FsNameSystem类似一个容器，它包含以下几个方面的内容：1: 它是BlockManger， DatanodeManaer， DelegationTokens， LeaseManager 等服务的容器；2:所有的对Namenode 所属命

2013-10-18 14:07:47 1520

原创 HDFS---Namenode

Overview Namenode 是HDFS中负责namespace管理的节点，Namenode 保存了当前集群中所存储的的所有的文件的元数据信息，namenode同时与集群中其它的节点通信，以保持元数据与系统中的文件的一致性，同时也和client通信，以响应client对文件的需要。NameNode中主要有两个大类来处理这些需求，FSNamesystem ---- 是一个门

2013-07-23 13:27:24 731

原创 HadoopSourceAnalyse --- Mapreduce ApplicationMaster TaskAttempt FSM

OverviewTaskAttempt 对像将是我们的task最后真正执行的地方，前面的所有的工作都是为了让我们的Attempt服务，在Attempt被创建出来之后，Attemp开始等待SChedule 或ReSchedule 事件，该事件将由Taskimpl对像触发。图 1-1T_SCHEDULE AND T_RESCHEDULE Handle当Attempt收到

2013-05-22 13:43:03 857

原创 HadoopSourceAnalyse --- Mapreduce ApplicationMaster Task FSM

Overview图 1-1当Task 被创建出来之后，处于NEW 状态，并等待 T_SCHEDULE 事件，该事件将由Job对像触发。T_SCHEDULE Handle在Task收到该事件后，首先会创建一个Attempt对像并注册，该对像将用来，执行并跟踪task的执行，对Map task 和Reduce task 分别各自不同的实现，这里以Map为例： TaskA

2013-05-20 12:59:26 558

原创 HadoopSourceAnalyse --- Mapreduce ApplicationMaster Job FSM

Overview图 1-1JOB_INIT HANDLE当Job收到JOB_INIT事件之后，Job开始初始自己：图 2-1首先，Job要setup相应配置信息，包括，Job submit id，提交时的目录，运行job所需的配置文件，安全信息； String oldJobIDString = job.oldJobId.toString(

2013-05-17 16:34:49 748

原创 HadoopSourceAnalyse --- Mapreduce ApplicationMaster Job start

OverviewMRAppMaster 初始化成功之后， Master 开始根据运行时的配置信息加Job并为之请求Container执行任务。Start Job 图 1-1图 1-2Code: amInfos = new LinkedList(); completedTasksFromPreviousRun

2013-05-14 13:46:55 557

原创 HadoopSourceAnalyse --- Mapreduce ApplicationMaster init&startup

OverviewApplicationMaster 是运MapReduce 任务的中间核心组组件，主要负责向ResourceManager请求Container来运行任务，并监视任务的执行：图 1-1上图展示了，ApplicationMaster 在初始化的时候，做了哪些事情，当一个新的任务提交的时候，ApplicationMaster会依次启动下列的Service

2013-05-13 11:25:58 1146

原创 HadoopSourceAnalyse --- Mapreduce Job init&submit

OverviewHadoop 的任务是通过Job对像提交到系统处理的，所以Job对像带有一切运行任务所需要的信息。下图展示了，Job运行过程所经历的所有阶段：图 1-1在配置完Job对像之后，Job会首初始化一个Cluster对像，用来保存Cluster相关的信息，包括用来与ResourceManager通信的客户端：图 1-2

2013-05-09 16:19:29 1223

原创 HadoopSourceAnalyse --- Nodemanager Application FSM

overviewINIT_APPLICATION Handle收到该事件通知，Application 保存当前的用户的ACL信息，并通知logHandler，记录用户信息，App进入INITING状态： app.applicationACLs = initEvent.getApplicationACLs(); app.aclsManager.addAppli

2013-05-08 13:45:40 574

原创 HadoopSourceAnalyse --- Nodemanager Container FSM

overview上图中还有一个状态变换，从killing 到 Exited_with_failure,这个变换由事件：CONTAINER_EXITED_WITH_FAILURE 触发，执行：ExitedWithFailureTransition；INIT_CONTAINER And RESOURCE_LOCALIZED HandleContainer 收到该事件通知后，会首先偿试

2013-05-07 17:57:52 734

原创 HadoopSourceAnalyse --- Nodemanager Container request handler

OverviewContainer 是Hadoop中运行任务的地方，当Resourcemanager收到一任务请求后，会向nodemanager 请求一个Container 来运行ApplicationMaster， ApplicationMaster运行起来之后，会继续向Resourcemanager请求新的container来运行任务，当container 完成任务之后，Applicat

2013-05-07 16:28:05 645

原创 HadoopSourceAnalyse --- NodeManager -- initiate

OverviewNodeManager 是hadoop cluster的server中，负责管理，执行任务相关的资源，主要通过ResouceManager和ApplicationsManager通信，通过ContainerManager与ApplicationMasterService 通信，InitiateServicesDeletionService

2013-05-06 14:52:07 2059

原创 HadoopSourceAnalyse --- RMContainerImpl FSM

overviewRMContainer FSM 是container在 ResourceManager中管理的对像，主要用来接收运行于NM上的container的状态，并对执行相应的操作。

2013-04-29 23:11:35 667

原创 HadoopSourceAnalyse---RMAppAttempt FSM

OverviewRMAppAttempt state machine图 1-1APP_ACCEPTED HandleRMAppAttempt 由RMApp创建并启动，向scheduler 提交靖求之后进入submited 状态。 scheduler 验证请求，并创建一个内部App对像并提交到queue，等待调度，向dispatcher 发送APP_ACCEPTED消

2013-04-28 09:39:53 764

原创 HadoopSourceAnalyse---RMApp FSM

Overview在hadoop中，很多资源的任务的实现都是用FSM来实现的，这里，用RMApp的实现来分析一下，Hadoop　FSM。下图展示了，Hadoo 中RMApp的状态机变化：图 1-1下面再来看一下，每个事件是什么时候触发，当事件发生的时候，又做了什么！完整的状态机在 Classloader 将RMAppImpl load 到JVM中就建立来，初始的状态，NEW

2013-04-27 15:12:01 832

原创 HadoopSourceAnalyse---ResourceMananger-Request Handle

Overview在hadoop中有几大类资源要管理，为管理这些资源，hadoop定义了自己的,通信的协议, 下表是通用的请求格式hrpc versionService classAuthMethodSerialize type(0)

2013-04-26 14:11:27 788

原创 HadoopSourceAnalyse---ResourceMananger-initiate

初始化ResourceManager 是Hadoop mapreduce v2 实现在的核心之一，它负责，接收并分发客户请求，监视集群中可用的Node资源。在系统启动的时候，ResourceManager会启动实例化以下的service和对像。Resourcemanager在初化过程中会读取yarn.resourcemanager.recovery.enabled 标志，如果打开，reso

2013-04-23 16:49:29 1352

woelegant的专栏