- 博客(13)
- 收藏
- 关注
RSS订阅原创 Hadoop yarn源码分析（十二） ResourceLocalizationService源码解析 2021SC@SDUSC
Hadoop yarn源码分析（十一） ResourceLocalizationService源码解析 2021SC@SDUSC一、简介2021SC@SDUSC一、简介
2021-12-26 23:44:56
482
原创 Hadoop yarn源码分析（十一） NodeHealthCheck源码解析 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（十一） NodeHealthCheck源码解析 2021SC@SDUSC一、简介二、NodeHealthCheckerService类2.1 基本属性2.2 基本方法2.2.1 构造方法2.2.2 初始化方法2.2.3 获取健康状态报告2.2.4 获取健康状态和时间三、NodeHealthScriptRunner类3.1 简介3.1 基本属性3.2 类的构建3.3 构造方法四、 NodeHealthMonitorExecutor类4.1 构造方法4.
2021-12-18 17:00:56
1958
原创 Hadoop yarn源码分析(十)ResourceTrackerService源码分析 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（十） ResourceTrackerService源码分析一、ResourceTrackerService简介二、ResourceTrackerService基本属性三、ResourceTrackerService基本方法3.1 serviceInit()方法3.2 serviceStart()方法3.3 registerNodeManager()方法3.3 nodeHeartbeat()方法3.4 unRegisterNodeManager()方法
2021-12-11 20:18:46
2063
原创 Hadoop yarn源码分析（九） Container源码解析 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（九） Container源码解析 2021SC@SDUSC
2021-12-05 15:40:18
1234
原创 Hadoop yarn源码分析（八） AsyncDispatcher事件异步分发器 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（八） AsyncDispatcher事件异步调度器 2021SC@SDUSC一、AsyncDispatcher 概述一、AsyncDispatcher 概述作为yarn中的事件异步调度器，AsyncDispatcher是RM中基于阻塞队列的调度事件的组件，它在一个特定的单线程中分派事件，并将分派的事件交给AsyncDispatcher中已经注册的对应的EventHandler事件处理器来处理。可以用一个线程池来调度时间，从而完成对多个事件的处理。
2021-11-27 10:06:23
4693
原创 Hadoop yarn源码分析（七） yarn调度器 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（七） yarn调度器 2021SC@SDUSC一、yarn调度器介绍1.1 FIFO Scheduler1.2 Capacity Scheduler1.3 Fair Scheduler1.4 Fair Scheduler与Capacity Scheduler区别二、yarn调度器配置2.1 FIFO Scheduler2.2 Capacity Scheduler2.3 Fair Scheduler配置一、yarn调度器介绍Hadoop是一个复杂的
2021-11-20 22:40:38
5011
原创 Hadoop yarn源码分析(六) AMLivelinessMonitor源码分析 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（六）AMLivelinessMonitor源码分析 2021SC@SDUSC一、AMLivelinessMonitor简介二、AMLivelinessMonitor属性三、AMLivelinessMonitor主要方法3.1 构造方法3.2 初始化方法3.3 超时回调3.4 启动服务3.5 注册监控3.6 内部类一、AMLivelinessMonitor简介上一章，介绍了ApplicationMasterService的有关内容，Applicat
2021-11-13 16:05:24
1415
原创 Hadoop源码分析（五） ApplicationMasterService源码分析 2021SC@SDUSC
2021SC@SDUSCHadoop源码分析（五） ApplicationMasterService源码分析 2021SC@SDUSC一、ApplicationMasterService简介二、ApplicationMasterService接口三、ApplicationMasterService源码分析3.1 构造方法3.2 属性3.3 serviceInit 方法3.4 serviceStart方法3.5 registerApplicationMaster方法3.6 finishApplication
2021-11-07 23:29:21
1950
1
原创 Hadoop源码分析（四） ApplicationMasterLauncher源码分析 2021SC@SDUSC
Hadoop源码分析（四） ApplicationMasterLauncher源码分析 2021SC@SDUSC一、ApplicationMasterLauncher简介二、ApplicationMasterLauncher工作流程三、ApplicationMasterLauncher源码分析3.1 主要属性3.2 初始化方法3.3 构造方法3.4 启动方法3.5 run方法3.6 handle方法3.7 launch方法3.8 AMLauncher3.8.1 AMLauncher通讯协议3.8.2 AM
2021-10-29 14:05:50
1251
原创 Hadoop yarn源码分析（三） ResourceManager 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（三） ResourceManager一、ResourceManager简介一、ResourceManager简介Yarn的三大核心组件为ResourceManager(RM)，ApplicationMaster(AM)，NodeMananger(NM)。在Hadoop yarn中， ResourceManager负责集群中所有资源的统一管理和分配， 它接收来自各个节点（NodeManager） 的资源汇报信息， 并把接收到的信息按照一定的策略分配
2021-10-24 18:55:14
549
原创 Hadoop yarn源码分析(二) NodeManager源码分析 2021SC@SDUSC
2021SC@SDUSCHadoop yarn源码分析（二） NodeManager源码分析一、NM简介二、内部架构三、基本职能3.1 ResourceTrackerProtocol协议3.1.1 注册：registerNodeManager3.1.2 心跳：nodeHeartbeat3.2 ContainerManagementProtocol协议四、NM初始化一、NM简介Yarn的三大核心组件为ResourceManager(RM)，ApplicationMaster(AM)，NodeManang
2021-10-17 23:41:58
640
原创 Hadoop yarn源码分析(一) ApplicationMaster源码分析 2021SC@SDUSC
Hadoop源码分析(一) ApplicationMasterApplicationMaster简介Yarn的三大核心组件为ResourceManager(RM)，ApplicationMaster(AM)，NodeMananger(NM)。ApplicationMaster实际上是特定计算框架的一个实例，负责单个作业的管理和任务监控。AM负责与RM协商资源，并和NM协同来执行和监控Container。MapReduce只是可以运行在Yarn上的一种计算框架。ApplicationMaster的运行
2021-10-09 16:41:21
1193
原创 Hadoop yarn源码分析 2021SC@SDUSC
起一个标题Hadoop yarn源码分析选题和分工Hadoop安装和使用合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Hadoop yarn源码分析你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用M
2021-09-30 17:24:09
390
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人