- 博客(23)
- 收藏
- 关注
RSS订阅原创 YARN源码学习-ResourceManagerRestart
ResourceManagerRestartRM是YARN集群的权威中心，负责资源管理和作业调度，潜在存在单点故障。ResourceManagerRestart是YARN提供的一个功能，目的是在集群重启时保持可用性，使得宕机时间对用户来说不可见。 ...
2018-09-03 17:01:25
298
原创 YARN学习总结-第二十节-YARN-Service-Registry
YARN-Service-Registry基于YARN，可以部署批处理作业或者进行查询，也可以运行长期运行服务，例如tomcat集群，HBase集群，这些服务实例需要被客户端发现，传统做法是通过DNS暴露IP和Port或者写入文件，但是这种机制，无法在服务被创建前被发现。YARN支持基本的注册，允许AM注册一个web url和一个IPC地址。但是不满足我们的需求，它无法注册其他的端点，例如...
2018-09-01 20:24:55
1600
原创 YARN学习总结-第十九节-YARN-Service
YARN-ServiceYARN-Service提供一流的支持和API用户托管长期运行的服务。简而言之，它充当容器编排平台管理容器化服务。同时支持Docker容器和传统在YARN之上基于进程的容器。这个框架的功能包括执行配置解决方案和挂载，生命周期管理，例如停止、启动、删除服务，伸缩服务组件，滚动更新，监控服务健康。YARN-Service框架主要包括如下组件：1.一个核心框架（A...
2018-08-31 09:45:02
1977
原创 YARN学习总结-第十八节-YARN-Shared-Cache
YARN-Shared-Cache共享缓存包括4个主要功能：1.共享缓存客户端2.HDFS目录扮演缓存3.共享缓存管理器（SCM）4.本地化服务和上传器用户或者开发者需要跟共享缓存客户端交互，客户端负责与共享缓存管理器交互，计算应用资源校验和，并且在共享缓存获取应用资源。共享缓存目录共享缓存目录通过HDFS权限进行保护，并且全局只读，只允许信任用户去写。这个目录只有...
2018-08-30 10:43:33
1024
原创 YARN学习总结-第十七节-YARN-Application-Security
YARN-Application-Security当一个应用于外部系统交互时，其实是AM和其他系统交互时，比如从HDFS下载文件，上传应用信息到timeline service，从HBase或者Hive取数据时，需要token。 ...
2018-08-29 16:23:19
211
原创 YARN学习总结-第十六节-YARN-Writing-YARN-Application
YARN-Writing-YARN-ApplicationAM的主要任务是：a) 任务被AMRMClientAsync异步执行，并且带有在AMRMClientAsync.CallbackHandler中指定的事件处理方法，需要客户端明确指定。b) 通过运行一个可运行的对象，在容器分配后调起。作为被调起的一部分，AM必须指定ContainerLaunchContext包括一些调起信息。...
2018-08-29 14:13:59
626
原创 YARN组件端口
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口 YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address scheduler组件的IPC端口 YAR...
2018-08-29 13:40:36
5998
原创 YARN学习总结-第十五节-YARN-RM-HA
YARN-RM-HA在2.4之前，YARN存在单点故障，之后添加了高可用。图片来自互联网，链接：http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.htmlRM-HA通过主备架构实现高可用。在任何时候只有一个为Active，一个或者多个Standby等待接管Activ...
2018-08-29 09:51:11
1341
原创 YARN学习总结-第十四节-YARN-Opportunistic Containers
YARN-Opportunistic Containers不像已经存在的YARN容器，需要获取资源后才可以被调度到相应的节点，机会容器，允许先调度到相应节点，不会立马运行，但是会排队等待，直到可以获取到资源。机会容器的主要目的是提升集群资源利用率，因此增长任务吞吐量。编辑配置文件conf/yarn-site.xml开启机会容器yarn.resourcemanager.opportuni...
2018-08-28 17:22:31
1133
原创 YARN学习总结-第十三节-YARN-Graceful Decommission
YARN-Graceful Decommission目前，支持两种下线方式：Normal or Gracefulyarn rmadmin -refreshNodes 通知NodesListManager检测和处理include、exclude主机。NodesListManager处理列在yarn.resoucemanager.nodes.exclude-path指定的文件配置的主机列表。这...
2018-08-28 16:26:53
1583
原创 YARN学习总结-第十二节-YARN-Node-Labels
YARN-Node-Labels目前，我们只支持节点分区：1.一个节点只能有一个分区，可以通过分区，将节点分为不相交的子集群，目前，默认的分区为partition=""2.用户需要配置每个分区的资源是如何被不同的队列使用的。3.有两种节点分区：Exclusive:只有节点明确匹配分区，才会分配容器。Non-exclusive:用户可以指定一些可以被队列访问的标签，应用只...
2018-08-28 15:43:07
2098
原创 YARN学习总结-第十一节-YARN-ResourceManagerRestart
ResourceManagerRestart目前，资源管理器一共有两种重启类型。Non-work-preserving RM restart、Work-preserving RM restart。Non-work-preserving RM restart:在这种重启模式下，RM 会保存应用元数据（应用提交上下文）和应用状态（failed,killed,finished），同时保存...
2018-08-28 15:00:12
1063
原创 YARN学习总结-第十节-YARN-Timeline-Server-V.2
YARN-Timeline-Server-V.2V.2自从V.1和V.1.5之后，有了很大改进。1.伸缩性，V.2将读和写分开，并且支持分布式架构，后端存储使用HBase。2.可用性提升。架构YARN Timeline Service v.2 使用一系列collector（writers）去写数据到后端存储。collectors，AM会把跟应用相关的数据发送到timeline ...
2018-08-28 08:30:41
7028
3
原创 YARN学习总结-第九节-YARN-Web-App-Proxy
YARN-Web-App-ProxyWeb Application Proxy 是YARN的一部分，也可以配置单独运行。这个组件出现的原意是为了降低基于web的攻击。yarn.web-proxy-address:yarn.web-proxy-keytab:如果不是以RM的一部分提供，则需要配置。yarn.web-proxy-principal:如果以RM的一部分提供，配置kerbe...
2018-08-27 16:50:39
3190
1
原创 YARN学习总结-第八节-YARN节点管理
NodeManagerNodeManager会执行健康检查，可以是检查磁盘或者任意用户指定的检查脚本，如果检查失败，则标记此节点为unhealthy并且报告给ResourceManager，然后停止分配容器到此节点。磁盘检查磁盘检查两个目录（local-dirs和log-dirs）分别由yarn.nodemanager.local-dirs和yarn.nodemanager.log-d...
2018-08-27 16:04:59
2842
原创 YARN学习总结-第七节-YARN放置限制
容器放置约束目前的约束是硬限制，如果不满足，则容器请求会被pending或者rejected。我们用allocation这个概念指代资源的一个单位，即一个容器。如果需要开启放置约束，我们需要修改conf/yarn-site.xml的如下配置：yarn.resoucemanager.placement-constraints.handler：指定哪个处理器用于处理PlacementC...
2018-08-27 11:48:57
1088
原创 YARN学习总结-第六节-YARN资源配置
YARN资源配置YARN支持扩展资源模型，默认，YARN跟踪CPU和内存对于所有节点、应用和队列。但是，资源定义为任何可数的资源。一个资源是在容器运行时被消耗，之后被释放。CPU和内存 都是可数资源，其他资源如GPU、软件许可。此外，YARN还支持指定资源配置，例如ECS，小规格就是1核1G，中等规格就是2核4G，大规格就是4核16G。支持下面的配置：yarn-site.xml...
2018-08-27 08:15:45
1736
原创 YARN学习总结-第五节-YARN保留系统
Reservation SystemYARN提供保留系统，允许用户提前或者设置保留资源给重要作业。通过绝对数值的形式指定代替百分比。保留系统是一个YARN ResourceManager的组件。保留系统工作流程图片来自互联网，链接地址：http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/Reservati...
2018-08-24 12:22:41
495
原创 YARN学习总结-第四节-YARN调度器
1.容量调度器容量调度器被设计来运行Hadoop应用在一个共享的，多租户的操作友好的集群上，最大化集群吞吐量和利用率。CapacityScheduler通过一系列的约束保证集群资源不会被个别恶意应用独占。保证共享集群的用户能获得保证的资源。这些功能会通过队列（queue）来实现。功能列表：Hierarchical Queues：分层队列 Capacity Guarantees：容量保...
2018-08-23 11:17:27
3139
原创 YARN学习总结-第三节-YARN命令参考
1.YARN命令参考概述YARN命令通过二进制程序bin/yarn执行。不带参数直接运行，可以打印出所有命令的描述。用法：yarn [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [SUB_COMMAND] [COMMAND_OPTIONS]YARN has an option parsing framework that employs pars...
2018-08-23 08:18:26
1112
原创 YARN学习总结-第二节-YARN架构
1.YARN架构YARN的核心思想是把资源管理和作业的调度、监控分成单独的守护进程。所以，就有一个全局的ResourceManager (RM)和每个应用都有的ApplicationMaster (AM)。一个应用要么是一个作业，要么是一个有向无环图作业。资源管理器（ResourceManager ）和节点管理器（NodeManager ）组成了数据计算框架。资源管理器是系统中的应用资源的...
2018-08-23 07:03:16
231
原创 YARN学习总结-第一节-YARN简介
1.YARN是什么？YARN（Yet Another Resource Negotiator,另一种资源协调者）: A framework for job scheduling and cluster resource management，一个作业调度和集群资源管理框架。是Apache软件基金会下大数据子项目Hadoop的一个组成部分。2.YARN解决了什么问题？随着大数据时代的到来，如...
2018-08-22 20:40:42
303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人