Yarn中的几种状态机

最新推荐文章于 2024-09-10 16:57:53 发布
最新推荐文章于 2024-09-10 16:57:53 发布
阅读量4.3k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Hadoop 分布式 文章标签： HDFS YARN hadoop 状态机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/can007/article/details/38391355
本文详细介绍了Yarn中的四种关键状态机：RMApp、RMAppAttempt、RMContainer和RMNode的状态转换及其在资源管理中的作用。通过事件驱动模型，Yarn管理Application的生命周期，包括Application Attempt和Container的分配、启动、运行与结束。状态机在故障恢复、资源调度和应用失败处理中起到关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 概述

    为了增大并发性，Yarn采用事件驱动的并发模型，将各种处理逻辑抽象成事件和调度器，将事件的处理过程用状态机表示。什么是状态机？

    如果一个对象，其构成为若干个状态，以及触发这些状态发生相互转移的事件，那么此对象称之为状态机。

    处理请求作为某种事件发送到系统中，由一个中央调度器传递给对应的事件调度器，进而对事件进行处理，处理完成之后再次发送给中央调度器，再进行处理，直至处理完成。

    Yarn的资源管理模块ResourceManager，其核心构成就是四类这样的状态机(基于2.4版本)，分别是:

(1)RMApp:用于维护一个Application的生命周期；

(2)RMAppAttempt:用于维护一次试探运行的生命周期；

(3)RMContainer:用于维护一个已分配的资源最小单位Container的生命周期；

(4)RMNode:用于维护一个NodeManager的生命周期；

    以上四个状态机，以继承了EventHandler 的Interface的形式存在于Yarn源码的org.apache.hadoop.yarn.server.resourcemanager中。其具体实现类，则是对应的xxxImpl类。

    提交到Yarn中的应用程序被称为Application，它可能会尝试运行多次，每次的尝试运行称为“Application Attempt”，如果一次尝试运行失败，则由RMApp创建另一个继续运行，直至达到失败次数的上限。Container是运行环境的抽象概念，无论是ApplicationMaster还是具体的每个Task都得运行在Container中。

2 RMApp状态机

    此状态机的具体实现类为org.apache.hadoop.yarn.server.resourcemanager.rmapp. RMAppImpl。其内部记录了一个Application的所有状态RMAppState(共11种)、

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Yarn】yarn ResourceManager 状态机
九师兄
10-22 221
四个状态机RMApp、RMAppAttempt、RMContainer。
Yarn原理与代码实例讲解
AI天才研究院
10-04 1478
Yarn原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来，大规模数据处理需求日益增长。传统的计
【YARN运维】Yarn常见任务shell运维命令：集群状态、查看任务、任务日志
hiliang521的博客
03-30 1605
【YARN运维】Yarn常见任务shell运维命令：集群状态、查看任务、任务日志
【大数据】yarn 任务中的几种状态变化详细过程
匠人精神，持之以恒！
05-08 1817
在YARN中，应用程序和Container的状态变化会影响任务的执行和资源分配。
react-ReactMachinery在react中提供了一种简单易用基于组件的状态机方法
08-15
总的来说，ReactMachinery是React生态中的一个强大工具，它利用状态机的概念为React组件带来了一种结构化的方法来处理状态变化。通过将状态逻辑分离出来，开发者能够更好地组织代码，提高代码的可维护性和应用的整体...
flink实战--flink on yarn
阿华田的博客
10-31 5939
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
YARN作业运行机制
Beeman_xia的世界
12-07 612
在传统的MapReduce中, Jobtracker同时负责作业调度(将任务调度给对应的tasktracker)和任务进度管理(监控任务, 重启失败的或者速度比较慢的任务等). YARN中将Jobtracker的责任划分给两个独立的守护进程: 资源管理器(resource manager)负责管理集群的所有资源, 应用管理器(application master)负责管理集群上任务的生命周期.
fizz：简单的功能状态机库
02-16
嘶嘶声 Fizz是用于构建状态机的小型库，可以有效地管理复杂的事件序列。 安装 yarn add @tdreyno/fizz 设计 Fizz尝试提供一种“纯Javascript”的API，并且以纯功能的方式运行[^ 1]。 状态仅仅是接受action函数，这是我们要应用于当前状态的事件。 动作是提供type键以区别于其他动作类型的对象。 它与Redux动作的格式非常相似。 状态返回一个或多个副作用（或任务的一个或多个副作用），它们只是简单的函数，将按照它们在状态转换结束时生成的顺序进行调用。 美国可以enter通过发送编Enter动作。 这是一个简单状态的示例，在进入时会记录一条消息。 function MyState ( action ) { switch ( action . type ) { case "Enter" : return log (
YARN应用的生命周期和状态
互联网知识分享
07-23 651
框架将根据应用的资源需求和集群的资源情况，为应用程序分配合适的资源，并启动应用程序的执行。: YARN客户端对象，用于与YARN进行交互，包括创建和提交应用、获取应用状态等操作。在提交阶段，应用程序的资源需求和容器的启动命令等信息将被配置和提供。: 应用提交上下文对象，用于设置应用的相关信息，如应用名称、资源需求等。应用中包含了应用的相关信息，如应用名称、队列名称、资源需求等。: 应用报告对象，包含了应用的状态、执行结果和日志等信息。应用在其生命周期中，会有不同的状态来表示当前的执行状态。
YARN UI界面日志详解二——某个任务详细日志
hellojoy的博客
05-13 1552
https://blog.youkuaiyun.com/NC_NE/article/details/118281875 一、任务日志在哪 前面我们已经了解了ResourceManager UI界面参考上一篇文章YARN UI界面日志详解一，我们也看到了下图： 就在Applications下的几个状态中，只要你是提交到yarn来管理的任务那一定在这几个状态中的某一个，所以弄清楚这几个状态的日志信息那我们就能知道某个任务的运行状况了。 在实际工作中NEW、NEW_SAVING、SUBMITTED这三个用到的概率还
Yarn中的状态机库及其使用
METON的博客
08-20 1003
状态机库 状态机由一组状态组成，这些状态分为三类：初始状态、中间状态和最终状态。状态机从初始状态开始运行，经过一系列中间状态后，到达最终状态并退出。在一个状态机中，每个状态都可以接收一组特定事件，并根据具体的事件类型转换到另一个状态。当状态机转换到最终状态时，则退出。 YARN状态转换方式 在YARN中，每种状态转换由一个四元组表示，分别是转换前状态（preState）、转换后状态（postState）、事件（event）和回调函数（hook）。YARN定义了三种状态转...
yarn的任务界面有哪些信息
别人笑我太疯癫，我笑他人看不穿。
04-30 1403
在数据分析的工作中，我们最常用的就是yarn的页面了，但是有很多小伙伴，刚接触大数据不久，导致打开yarn界面，看的一脸懵，还全市英文啥都看不懂，所以现在我就给大家说说yarn界面到底怎么看，首先在打开yarn的界面之后会展示如下界面 因为一些原因，不方便给大家看集群参数，大家见谅，下面涉及到的配置我也会抹掉，当然大家自己打开yarn之后可能因为访问路径等原因，不是我这个界面，这个也无所谓，大家点击左上角Cluster下的about就可以了 现在我开始告诉大家yarn的界面到底怎么用，首先最左面的那些导航
hadoop任务执行时，报错
11-09 2183
2020-11-06 03:42:43,205 ERROR org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplicationAttempt: Error trying to assign container token and NM token to an allocated container container_1604647286933_0002_01_000001 java.lang.IllegalArgumen
yarn app的状态 ALL, NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED
Ahuuua的博客
06-11 5843
转自：yarn RMApp-状态机实现https://www.jianshu.com/p/cb98a72c94ab 状态机介绍 在RM内部维护着所有Application的状态。对于每个Application都有一个RMApp对象与之对应。在RMApp的实现类RMAppImpl中，维护着对象的基本信息，包括起始时间、名字、用户、组等信息，其中最复杂的部分莫过于其维护的状态机。 状态与转换解...
Yarn原理图
weixin_58468790的博客
09-10 369
Hadoop三大组件之一 ——Yarn原理图
YARN/MRv2 ResourceManager代码分析
caodaoxi的专栏
10-23 156
本文分析了Hadoop-0.23.0中一个Application从提交到运行结束的整个过程。期间涉及到Client，ResourceManage，NodeManager等组件以及RMClientProtocol，AMRMProtocol，ContainerManager等通信协议。 【注】 本文的两个主要图片可能不够清晰，可以从这里下载。 （上图参考了《Hadoop 0.23 MRv2...
spark的几种集群模式
最新发布
06-06
<think>嗯...用户问的是Spark支持的集群模式类型，看来需要整理一份清晰的分类说明。之前提供的引用材料里其实已经包含了一些线索：引用[2]明确提到了本地模式和集群模式的区别，引用[1]和[5]展示了Standalone集群的配置示例。用户可能正在搭建Spark环境，需要根据场景选择集群模式。从问题表述看，ta应该有一定基础但需要系统梳理。需要特别注意引用[4]提到的YARN相关配置参数，这说明除了Standalone之外还有其它集群管理模式。集群模式的讲解需要结构化，我决定按"自带管理"和"第三方管理"两大类别展开。对于Standalone模式要强调master和worker的组件关系（引用[1]中的7077端口很典型），对于YARN则要区分cluster和client部署差异（引用[4]的yarn.jars配置可佐证）。Mesos虽然现在用得少，但作为历史方案也该提一下。Kubernetes模式越来越重要，虽然引用材料里没提，但根据技术发展趋势应该补充。最后用对比表格总结会很直观，用户可能需要横向比较资源调度、适用场景等维度。突发想到用户可能在准备面试，所以最后附加的源码说明（Master.scala）能体现深度。相关问题设计成阶梯状：从部署到监控再到云原生，覆盖ta可能继续追问的方向。</think> Spark 支持多种集群管理模式，可根据资源管理和调度需求灵活选择。以下是主要的集群模式类型及核心特点： --- ### **1. Standalone 模式（自带集群管理）** Spark 内置的轻量级集群模式，无需依赖第三方框架。 - **架构**： - `Master`：主节点，管理集群资源（如引用 `[1]` 中的 `spark://node1:7077`）。 - `Worker`：从节点，执行任务并汇报资源状态。 - **特点**： - 部署简单（如引用 `[5]` 的 `spark-standalone` 安装）。 - 适合中小规模集群，但缺乏高级资源调度功能。 --- ### **2. Apache Hadoop YARN 模式** 利用 Hadoop YARN 作为资源调度器，适用于 Hadoop 生态集成。 - **工作模式**： - `Cluster Mode`：Driver 运行在 YARN 的 ApplicationMaster 中（资源统一管理）。 - `Client Mode`：Driver 运行在提交任务的客户端（调试更方便）。 - **核心配置**（如引用 `[4]`）： ```properties spark.eventLog.enabled true spark.yarn.jars hdfs://... # 指定依赖包路径 ``` --- ### **3. Apache Mesos 模式（已逐步淘汰）** 通用集群管理器，支持动态资源共享（Spark 作为 Mesos 的任务运行）。 - **适用场景**：混合负载环境（如同时运行 Spark、MPI 等）。 --- ### **4. Kubernetes 模式（云原生首选）** 在 Kubernetes 上原生调度 Spark 应用，适合容器化环境。 - **核心组件**： - `Driver Pod`：作为 Kubernetes Pod 启动。 - `Executor Pods`：动态创建/销毁。 - **优势**：弹性伸缩、资源隔离、云平台集成。 --- ### **5. Local 模式（本地测试）** 非集群模式，单机运行（如引用 `[2]` 所述）。 - **配置示例**：`--master local[*]`（`*` 表示使用所有核心）。 - **用途**：开发调试，**不可用于生产**。 --- ### **模式对比总结** | **模式** | **资源调度器** | **适用场景** | **优势** | |----------------|--------------------|----------------------------------|----------------------------------| | Standalone | Spark Master | 中小规模独立集群 | 部署简单，无外部依赖 | | YARN | Hadoop YARN | Hadoop 生态集成 | 资源调度丰富，支持多租户 | | Kubernetes | Kubernetes | 云原生/容器化环境 | 弹性伸缩，云平台兼容性好 | | Mesos | Apache Mesos | 混合负载场景（逐步淘汰） | 动态资源共享 | | Local | 无（单机） | 开发/测试 | 快速验证逻辑 | --- ### **选择建议** - 若已有 Hadoop 集群 → **YARN 模式**（资源利用率高）。 - 需独立运行或轻量级部署 → **Standalone 模式**（如引用 `[1][5]` 的部署）。 - 容器化/云平台部署 → **Kubernetes 模式**（趋势方向）。 > **附加说明**：无论选择哪种模式，Spark 程序代码无需修改（仅需调整 `--master` 参数和集群配置）。历史服务器配置（如引用 `[4]` 的 `spark.eventLog.dir`）可跨模式通用，便于监控任务日志[^1][^4]。 --- **相关问题** 1. Standalone 模式下如何配置高可用（HA）？ 2. YARN 的 Cluster Mode 与 Client Mode 性能差异如何？ 3. Kubernetes 模式中如何动态调整 Executor 数量？ 4. 如何通过 Spark 历史服务器（History Server）分析任务日志？ > 注：Standalone HA 通常通过 ZooKeeper 实现多 Master 热备；YARN Cluster 模式更稳定但日志访问稍复杂；Kubernetes 可通过 `spark.dynamicAllocation.enabled` 实现弹性伸缩。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值