<think>我们正在处理用户关于
Hadoop作业提交到
YARN的具体流程的问题。根据提供的引用资料，我们可以构建一个详细的步骤说明。注意，用户要求详细流程，因此我们需要将每一步都解释清楚。
参考引用：
[1] 提到：当client向
YARN提交作业后，意味着向ResourceManager申请一个ApplicationMaster。RM分配一个ApplicationMaster，并通知相应的NodeManager启动一个container来运行ApplicationMaster。
[2] 提到：客户端通过submitJobInternal方法
提交作业，其中会调用submitClient.submitJob来
提交作业到ResourceManager，并传递
作业ID和
提交目录等信息。
[3] 提到：MRAppMaster（即MapReduce的ApplicationMaster）首先向ResourceManager注册，然后为各个任务申请资源，并监控任务运行状态。
结合这些引用，我们可以将
作业提交到
YARN的流程分为以下几个步骤：
1. **
作业提交**：客户端将
作业提交到
YARN集群。
2. **申请ApplicationMaster**：ResourceManager为
作业分配一个ApplicationMaster。
3. **启动ApplicationMaster**：ResourceManager与某个NodeManager通信，启动一个Container来运行ApplicationMaster。
4. **ApplicationMaster注册**：ApplicationMaster向ResourceManager注册，以便ResourceManager可以跟踪其状态。
5. **申请任务资源**：ApplicationMaster向ResourceManager申请运行任务（Map和Reduce任务）所需的资源。
6. **启动任务**：ResourceManager分配资源后，ApplicationMaster与相应的NodeManager通信，启动任务Container。
7. **任务执行与监控**：ApplicationMaster监控任务的执行状态，直到所有任务完成。
8. **
作业完成**：ApplicationMaster向ResourceManager注销并关闭，客户端获取
作业完成状态。
下面详细描述每个步骤：
### 详细流程步骤
1. **
作业提交（Client Submits Job）**
- 用户通过客户端（如
命令行或API）
提交作业，客户端调用`Job.waitForCompletion()`方法（或类似方法）启动
提交过程[^2]。
- 客户端执行以下操作：
- 检查
作业的输入输出路径。
- 计算
作业的输入分片（Input Splits）。
- 将
作业资源（如JAR文件、配置文件、分片信息）复制到
HDFS上的一个目录（称为
作业提交目录）[^2]。
- 调用`ResourceManager.submitJob()`方法
提交作业（实际调用链为：`Job.submit()` -> `JobSubmitter.submitJobInternal()` -> `
YARNRunner.submitJob()`）[^2]。
2. **ResourceManager分配ApplicationMaster（RM Allocates ApplicationMaster）**
- ResourceManager收到
作业提交请求后，会为该
作业分配一个唯一的Application ID，并创建一个`ApplicationMaster`进程（实际上是一个特殊的Container）[^1]。
- ResourceManager将ApplicationMaster的启动
命令发送给一个NodeManager（通常选择负载较低的节点）[^1]。
3. **启动ApplicationMaster（Launch ApplicationMaster）**
- 被选中的NodeManager启动一个Container（容器），并在该Container中运行ApplicationMaster（对于MapReduce
作业，就是`MRAppMaster`）[^1][^3]。
- ApplicationMaster初始化
作业状态，并设置必要的跟踪和监控。
4. **ApplicationMaster注册（ApplicationMaster Registers with RM）**
- ApplicationMaster启动后，会向ResourceManager注册自身，这样ResourceManager就可以通过Web UI或API向用户展示
作业状态[^3]。
5. **申请任务资源（ApplicationMaster Requests Resources for Tasks）**
- ApplicationMaster根据
作业的输入分片数（即Map任务数量）以及Reduce任务数量，向ResourceManager申请资源（Container）[^3]。
- 资源请求包括：每个Container所需的内存、CPU等。
6. **分配资源并启动任务（ResourceManager Allocates Containers and Launches Tasks）**
- ResourceManager根据调度策略（如Capacity Scheduler或Fair Scheduler）为ApplicationMaster分配Container（在满足资源请求的NodeManager上）[^3]。
- ApplicationMaster与分配到的NodeManager通信，启动任务Container（每个Container运行一个Map任务或Reduce任务）[^3]。
- 任务执行时，会从
HDFS读取输入数据，处理后将结果写入
HDFS（或中间数据存储在本地磁盘）。
7. **任务执行与监控（Task Execution and Monitoring）**
- ApplicationMaster监控所有任务的执行状态（包括心跳和进度更新）[^3]。
- 如果某个任务失败，ApplicationMaster会重新申请资源并重新运行该任务（重试次数有限制）。
8. **
作业完成（Job Completion）**
- 当所有任务成功完成后，ApplicationMaster向ResourceManager发送
作业完成状态，并注销自身[^3]。
- 客户端轮询
作业状态，当检测到
作业完成时，显示结果并退出。
### 流程图示意
```mermaid
graph TD
A[客户端
提交作业] --> B[ResourceManager分配ApplicationMaster]
B --> C[NodeManager启动ApplicationMaster Container]
C --> D[ApplicationMaster向RM注册]
D --> E[ApplicationMaster申请任务资源]
E --> F[ResourceManager分配Container]
F --> G[NodeManager启动Task Container]
G --> H[任务执行]
H --> I{所有任务完成?}
I -- 是 --> J[ApplicationMaster注销并退出]
I -- 否 --> E
J --> K[客户端获取
作业结果]
```
### 关键点说明
- **资源管理**：ResourceManager负责整个集群的资源调度，而ApplicationMaster负责单个
作业的资源申请和任务调度。
- **容错机制**：如果某个任务失败，ApplicationMaster会重新申请资源并重试任务（通常重试4次）。
- **状态监控**：客户端通过轮询ResourceManager或ApplicationMaster来获取
作业状态。
### 相关问题
1. **ApplicationMaster在
作业执行过程中承担了哪些具体职责？**
2. **如果
作业提交后ResourceManager无法分配ApplicationMaster容器，可能是什么原因？**
3. **如何通过
YARN的Web UI监控
作业的执行状态？**
---
以上流程基于
Hadoop 2.x及更高版本的
YARN架构。不同版本的实现细节可能略有差异，但核心流程一致。</think>###
Hadoop作业提交到
YARN的详细流程
以下是
Hadoop作业提交到
YARN的核心步骤（基于MapReduce
作业示例）：
#### 1. **
作业提交准备（客户端）**
```mermaid
graph LR
A[客户端调用job.waitForCompletion] --> B[创建JobSubmitter实例]
B --> C[检查输入输出路径]
C --> D[计算输入分片InputSplits]
D --> E[复制
作业资源到
HDFS]
```
- 客户端调用`job.waitForCompletion()`触发
提交流程
- 计算输入数据的分片信息（如文件块位置、大小）
- 将
作业JAR包、配置文件、分片元数据上传到
HDFS（通常存储在`/tmp/
hadoop-
yarn/staging`）[^2]
#### 2. **申请ApplicationMaster**
```mermaid
graph LR
F[调用ResourceManager.submitApplication] --> G[RM分配Application ID]
G --> H[RM调度器分配Container]
H --> I[NM启动AppMaster进程]
```
- 客户端通过`
YARNRunner.submitJob()`向ResourceManager(RM)
提交申请[^2]
- RM分配唯一Application ID，并选择NodeManager(NM)启动Container
- Container内启动**MRAppMaster**（
作业的主控进程）[^1]
#### 3. **AppMaster初始化**
```mermaid
graph LR
J[MRAppMaster向RM注册] --> K[解析输入分片]
K --> L[创建任务对象]
L --> M[申请资源]
```
- MRAppMaster向RM注册自身（可通过RM Web UI查看状态）[^3]
- 从
HDFS加载
作业配置和分片元数据
- 根据输入分片数量创建MapTask对象（ReduceTask稍后创建）
#### 4. **资源申请与任务分配**
```mermaid
graph LR
N[AppMaster申请Container] --> O[RM调度器分配资源]
O --> P[AppMaster启动任务]
P --> Q[任务状态心跳监控]
```
- AppMaster向RM发送**Container申请请求**（包含所需CPU/内存）
- RM调度器（如Capacity/Fair Scheduler）分配Container资源
- AppMaster通过**NodeManager**启动MapTask/ReduceTask[^3]
- 任务执行进度通过心跳机制汇报给AppMaster
#### 5. **任务执行与监控**
```mermaid
graph TB
R[MapTask读取输入数据] --> S[Shuffle阶段]
S --> T[ReduceTask输出结果]
U[AppMaster监控状态] --> V{所有任务完成?}
V --是--> W[清理临时资源]
V --否--> U
```
- MapTask处理分配的数据块，输出中间结果
- ReduceTask通过Shuffle获取Map输出，生成最终结果
- AppMaster持续监控任务状态，失败时自动重试（默认重试4次）
#### 6. **
作业完成**
- AppMaster向RM注销应用
- 清理
HDFS临时文件
- 客户端轮询获取
作业最终状态（成功/失败）
### 关键组件交互
```mermaid
sequenceDiagram
participant Client
participant RM as ResourceManager
participant AM as MRAppMaster
participant NM as NodeManager
participant
HDFS
Client->>RM: submitApplication()
RM->>NM: allocateContainer(AM)
NM->>AM: 启动MRAppMaster
AM->>RM: registerApplicationMaster()
AM->>
HDFS: 加载
作业资源
loop 任务调度
AM->>RM: requestContainers()
RM->>AM: allocateContainers()
AM->>NM: startContainer(Task)
NM->>AM: 心跳状态汇报
end
AM->>RM: unregisterApplicationMaster()
```
### 性能优化建议
1. **资源参数调整**
```xml
<!-- mapreduce.map.memory.mb -->
<!-- mapreduce.reduce.memory.mb -->
```
2. **启用压缩**（减少Shuffle数据量）
```xml
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
```
---
### ⁉ 相关问题
1. **如何在
YARN中查看
作业的资源分配详情？**
2. **当MapTask持续失败时，
YARN会如何处理？**
3. **如何优化Shuffle阶段的数据传输效率？**
4. **Capacity Scheduler和Fair Scheduler的主要区别是什么？**
本文详细解析了关于AMContainer在应用尝试中因失败两次而退出的问题，并提供了有效的解决方案，通过特定链接分享了详细的修复步骤。
扫一扫
517
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
