<think>好的，用户现在想了解在
Flink任务中使用
YARN的application
模式启动时需要配置哪些参数。之前用户询问过如何指定容器
大小和CPU核数，现在他们可能希望更全面地了解所有相关配置，特别是针对
YARN application
模式的参数。
首先，我需要回忆
Flink在
YARN上的部署
模式。
YARN application
模式与session
模式和
per-job模式不同，它允许每个应用单独
启动集群，适合生产环境。用户可能在使用这种
模式时，需要配置资源参数、日志设置、高可用性等。
接下来，我需要整理配置参数的分类。可能包括基础资源参数（
JobManager和
TaskManager的内存、CPU）、并行度、高可用配置、日志配置、动态属性，以及命令行示例。同时，用户可能想知道每个参数的具体作用和示例值。
然后，要注意用户之前的问题中提到的内存和CPU配置，所以需要详细说明这些部分，包括JVM堆内存、堆外内存等。此外，
YARN的vcores配置也很重要，需要解释清楚如何设置CPU核数。
另外，高可用性配置对于生产环境来说很关键，应该包括ZooKee
per的配置和恢复策略。日志配置也是用户可能需要的，尤其是调试时，需要指导如何设置日志级别和路径。
还需要考虑动态参数，用户可能有自定义需求，需要举例如何传递这些参数。最后，提供一个完整的命令行示例，帮助用户整合所有配置。
在验证部分，用户可能需要知道如何确认配置是否生效，比如通过
YARN的Web UI或命令行查看应用状态。常见问题如内存不足或CPU竞争，需要给出解决方案，比如调整内存
大小或vcores数量。
需要确保回答结构清晰，分点列出，参数用代码块表示，符合用户之前接受的格式。同时，避免使用Markdown，但保持内容的结构化。确保覆盖所有重要参数，并且语言简洁明了，便于用户理解和应用。</think>在
Flink on
YARN 的 **Application
模式**（`
yarn-application`）下，任务的资源分配和参数配置主要通过 **命令行参数** 和 **
Flink 配置文件**（`
flink-conf.yaml`）实现。以下是核心参数的分类说明和典型配置方法：
---
### 一、基础资源参数（**必须配置**）
#### 1. **
JobManager (JM) 资源**
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D
jobmanager.memory.process.size` | JM 进程总内存（含堆内存、堆外内存、JVM 开销等） | `2048m` 或 `2g` |
| `
-yjm` 或 `
--yarnjobManagerMemory` | JM 容器的总内存（等效于 `
jobmanager.memory.process.size`） | `2048`（单位 MB） |
#### 2. **
TaskManager (TM) 资源**
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D
taskmanager.memory.process.size` | TM 进程总内存（含堆内存、堆外内存、网络缓存等） | `4096m` 或 `4g` |
| `
-ytm` 或 `
--yarntaskManagerMemory` | TM 容器的总内存（等效于 `
taskmanager.memory.process.size`） | `4096`（单位 MB） |
| `
-D
yarn.containers.vcores` | 每个 TM 容器的 CPU 虚拟核数（vCores） | `2` |
| `
-D
taskmanager.numberOfTaskSlots` | 每个 TM 的 Slot 数量（需
与 vCores 匹配，建议 `slots ≤ vcores`） | `2` |
---
### 二、
YARN 集群参数
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D
yarn.application.name` |
YARN 上显示的应用名称 | `
Flink-Job-Example` |
| `
-D
yarn.application.queue`| 指定
YARN 队列 | `default` |
| `
-D
yarn.application.node
-label` | 指定
YARN 节点标签（用于特定节点组） | `gpu
-cluster`|
---
### 三、并行度
与任务参数
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-p` 或 `
--parallelism` | 任务的默认并行度（全局生效） | `4` |
| `
-c` 或 `
--class` | 主类全限定名 | `com.example.Main
Job` |
---
### 四、高可用性（HA）配置（可选）
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D high
-availability` | 启用 HA（需依赖 ZooKee
per） | `zookee
per` |
| `
-D high
-availability.zookee
per.quorum` | ZooKee
per 集群地址 | `zk1
:2181,zk2
:2181` |
| `
-D high
-availability.storageDir` | HA 元数据存储路径（如 HDFS） | `hdfs
:///
flink/ha` |
---
### 五、日志
与调试参数
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D
yarn.log
-config
-file` | 自定义日志配置文件路径 | `/path/to/log4j.pro
perties` |
| `
-D log.level` | 设置日志级别（全局） | `INFO` 或 `DEBUG` |
| `
-D env.java.opts` | 附加 JVM 参数（如 GC 调优） | `
-XX
:+UseG1GC` |
---
### 六、动态参数（通过 `
-D` 传递）
| 参数格式 | 说明 |
|
--------------------------|
----------------------------------------------------------------------|
| `
-D key=value` | 覆盖 `
flink-conf.yaml` 中的配置或传递自定义参数到
Flink 任务。 |
---
### 七、完整
启动命令示例
```bash
./bin/
flink run
-application \
-t
yarn-application \
-D
jobmanager.memory.process.size=2048m \
-D
taskmanager.memory.process.size=4096m \
-D
yarn.containers.vcores=2 \
-D
taskmanager.numberOfTaskSlots=2 \
-D
yarn.application.name=
Flink-Example \
-D high
-availability=zookee
per \
-D high
-availability.zookee
per.quorum=zk1
:2181,zk2
:2181 \
-p 4 \
-c com.example.Main
Job \
/path/to/
job.jar
```
---
### 八、参数验证方法
1. **
YARN Web UI**：
- 访问 `http
://<
yarn-resourcemanager>
:8088`，查看应用资源分配（内存、vCores）。
2. **
Flink Web UI**：
- 通过
YARN 提供的 Tracking URL 进入
Flink Dashboard，检查
TaskManager 的 Slot 和内存。
3. **日志定位**：
- 检查
YARN Container 日志（通过 Web UI 下载或 `
yarn logs
-applicationId <app_id>`）。
---
### 九、常见问题
与解决
1. **资源不足导致任务失败**：
- 现象：
YARN 无法分配容器（`Exit code
: 137`）。
- 解决：增
大 `
-yjm`/`
-ytm` 并预留 10%~20% 的系统开销。
2. **Slot
与 vCores 不匹配**：
- 现象：CPU 利用率低或线程竞争。
- 解决：确保 `
taskmanager.numberOfTaskSlots ≤
yarn.containers.vcores`。
本文深入解析Flink在YARN-per-job模式下TaskManager的启动过程，从创建YarnApplicationMasterRunner，初始化YarnResourceManager，到启动TaskManager，并通过大数据处理示例说明。理解这一过程有助于优化大规模数据处理的效率和作业的可靠性。
订阅专栏 解锁全文
扫一扫
1315
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
