yarn
关注
分享
扫一扫
文章平均质量分 85
迷路剑客
弱小和无知不是生存的障碍，傲慢才是。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop-Yarn学习
Yarn学习0x01 概述Yarn全名Yet Another Resource Negotiator，即资源协调/管理者，在Hadoop2中引入。1.1 Yarn是什么Yarn，英文全名是 Yet Another Resource Negotiator，是由雅虎开发的第二代集群资源调度器。查看论文点这里。Yarn在大数据体系中的示意图如下：而应用层在Application层之上，如Hi...原创 2019-05-28 23:10:46 · 1992 阅读 · 2 评论 -
Hadoop-Yarn调优
Yarn-调优0x01 概述1.1 官方文档首先给出一个Apache-Hadoop官方写的关于yarn-site.xml的配置项说明地址：yarn-default.xmlHortonworks Documentation9. Determine HDP Memory Configuration Settings1.2 内存和CPU的资源隔离方案YARN对内存资源和CPU资...原创 2019-04-30 21:44:35 · 536 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager01-基础概念
0x01 基础概念Yarn作为一款热度颇高的开源资源调度器，对他的源码分析有助于大家理解其内部执行机制。本文基于2.6.0-cdh5.8.2，仅供参考。 第一章我们先了解下Yarn的一些基本概念，读完这一章可以了解Yarn的基本的框架和流程，以便更快更好的阅读理解后面章节。1.1 Yarn是什么Yarn，英文全名是 Yet Another Resource Negotiator，...原创 2018-09-14 17:58:30 · 1781 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager08-总结
0xFD 单元测试下面说下调试的时候的一些单元测试： hadoop-2.6.0-cdh5.8.2/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/test/java/org/apache/hadoop/yarn/server/resourcemanager/sc...原创 2018-09-13 00:13:03 · 433 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager07-ShutdownHookManager
0x07 ShutdownHookManager在yarn代码中可以看到很多地方都使用了以下代码来添加自己的ShutdownHook:ShutdownHookManager.get().addShutdownHook( new CompositeServiceShutdownHook(resourceManager), SHUTDOWN_HOOK...原创 2018-09-13 00:08:17 · 574 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager06-MR任务提交-服务端分析
0x06 RM调度-MR任务提交-服务端分析上文我们提到过，Yarn中Client和RM交互的协议是ApplicationClientProtocol，我们已经分析过这一协议在客户端的实现ApplicationClientProtocolPBClientImpl，这一章节我们就从分析这一协议服务端的实现ClientRMService开始。6.1 获取JobID6.2.1 Clien...原创 2018-09-12 22:52:17 · 1279 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager05-MR任务提交-客户端侧分析
0x05 RM调度-MR任务提交-客户端侧分析5.1 mapreduce.joborg.apache.hadoop.mapreduce.Job我们都知道,MR任务的一般结尾会有一句话是job.waitForCompletion(true)，这行代码意思是提交任务并等待结束。我们的分析就从这里入手：public boolean waitForCompletion(boolean ...原创 2018-09-12 22:50:50 · 1117 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager04-RM调度之FairScheduler
0x04 RM调度之FairSchedulerRM对NM的调度分为心跳触发调度和持续调度，我们先从心跳调度开始讲。因为本文的主题是讲RM，这里就不讲NM启动过程了，放在另一篇文章里分析。我们直接从AsyncDispatcher讲起。4.1 AsyncDispatcherAsyncDispatcher的内部类GenericEventHandler会处理一个EventType: NODE_...原创 2018-09-12 22:47:13 · 626 阅读 · 0 评论 -
源码走读-Yarn-ResourceManager03-RM的启动之RM详解
0x03 RM的启动之RM详解3.1 ResourceManager的继承关系3.1.1 ResourceManager第一印象我们先来看看这个类：/** * The ResourceManager is the main class that is a set of components. * "I am the ResourceManager. All your r...原创 2018-09-12 22:45:06 · 1667 阅读 · 5 评论 -
源码走读-Yarn-ResourceManager02-RM的启动-脚本
0x01 摘要Yarn作为一款热度颇高的开源资源调度器，对他的源码分析有助于理解其内部执行机制。本文基于2.6.0-cdh5.8.2，仅供参考。 0x02 RM启动过程-Shell脚本2.1 RM启动命令启动RM命令为yarn-daemon.sh start resourcemanager使用的脚本文件如下： hadoop-2.6.0-cdh5.8.2/ha...原创 2018-09-12 22:37:14 · 749 阅读 · 0 评论 -
Hadoop-Yarn-问题记录
Yarn-问题记录1如果capacity配置的容量远超队列配额会引起某些bug，这里能先优化下maxcapacity这个值嘛，尽量不要超过太多capacity值CapacityScheduler: applications could get starved because computation of #activeUsers considers pending apps已有issue...原创 2019-07-31 21:23:20 · 629 阅读 · 0 评论