<think>好的，用户现在想了解在
Flink任务中使用
YARN的application
模式启动时需要
配置哪些参数。之前用户询问过如何指定容器大小和CPU核数，现在他们可能希望更全面地了解所有相关
配置，特别是针对
YARN application
模式的参数。
首先，我需要回忆
Flink在
YARN上的
部署模式。
YARN application
模式与session
模式和
per-job模式不同，它允许每个应用单独启动集群，适合生产环境。用户可能在使用这种
模式时，需要
配置资源参数、
日志设置、高可用性等。
接下来，我需要整理
配置参数的分类。可能包括基础资源参数（
JobManager和TaskManager的内存、CPU）、并行度、高可用
配置、
日志配置、动态属性，以及命令行示例。同时，用户可能想知道每个参数的具体作用和示例值。
然后，要注意用户之前的问题中提到的内存和CPU
配置，所以需要详细说明这些部分，包括JVM堆内存、堆外内存等。此外，
YARN的vcores
配置也很重要，需要解释清楚如何设置CPU核数。
另外，高可用性
配置对于生产环境来说很关键，应该包括ZooKee
per的
配置和
恢复策略。
日志配置也是用户可能需要的，尤其是调试时，需要指导如何设置
日志级别和路径。
还需要考虑动态参数，用户可能有自定义需求，需要举例如何传递这些参数。最后，提供一个完整的命令行示例，帮助用户整合所有
配置。
在验证部分，用户可能需要知道如何确认
配置是否生效，比如通过
YARN的Web UI或命令行查看应用状态。常见问题如内存不足或CPU竞争，需要给出解决方案，比如调整内存大小或vcores数量。
需要确保回答结构清晰，分点列出，参数用代码块表示，符合用户之前接受的格式。同时，避免使用Markdown，但保持内容的结构化。确保覆盖所有重要参数，并且语言简洁明了，便于用户理解和应用。</think>在
Flink on
YARN 的 **Application
模式**（`
yarn-application`）下，任务的资源分配和参数
配置主要通过 **命令行参数** 和 **
Flink 配置文件**（`
flink-conf
.yaml`）实现。以下是核心参数的分类说明和典型
配置方法：
---
### 一、基础资源参数（**必须
配置**）
####
1. **
JobManager (JM) 资源**
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D
jobmanager
.memory
.process
.size` | JM 进程总内存（含堆内存、堆外内存、JVM 开销等） | `2048m` 或 `2g` |
| `
-yjm` 或 `
--yarnjobManagerMemory` | JM 容器的总内存（等效于 `
jobmanager
.memory
.process
.size`） | `2048`（单位 MB） |
#### 2
. **TaskManager (TM) 资源**
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D taskmanager
.memory
.process
.size` | TM 进程总内存（含堆内存、堆外内存、网络缓存等） | `4096m` 或 `4g` |
| `
-ytm` 或 `
--yarntaskManagerMemory` | TM 容器的总内存（等效于 `taskmanager
.memory
.process
.size`） | `4096`（单位 MB） |
| `
-D
yarn.containers
.vcores` | 每个 TM 容器的 CPU 虚拟核数（vCores） | `2` |
| `
-D taskmanager
.numberOfTaskSlots` | 每个 TM 的 Slot 数量（需与 vCores 匹配，建议 `slots ≤ vcores`） | `2` |
---
### 二、
YARN 集群参数
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D
yarn.application
.name` |
YARN 上显示的应用名称 | `
Flink-Job-Example` |
| `
-D
yarn.application
.queue`| 指定
YARN 队列 | `default` |
| `
-D
yarn.application
.node
-label` | 指定
YARN 节点标签（用于特定节点组） | `gpu
-cluster`|
---
### 三、并行度与任务参数
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-p` 或 `
--parallelism` | 任务的默认并行度（全局生效） | `4` |
| `
-c` 或 `
--class` | 主类全限定名 | `com
.example
.Main
Job` |
---
### 四、高可用性（HA）
配置（可选）
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D high
-availability` | 启用 HA（需依赖 ZooKee
per） | `zookee
per` |
| `
-D high
-availability
.zookee
per.quorum` | ZooKee
per 集群地址 | `zk
1:2
18
1,zk2:2
18
1` |
| `
-D high
-availability
.storageDir` | HA 元数据存储路径（如 HDFS） | `hdfs:///
flink/ha` |
---
### 五、
日志与调试参数
| 参数 | 作用 | 示例值 |
|
--------------------------|
----------------------------------------------------------------------|
--------------|
| `
-D
yarn.log
-config
-file` | 自定义
日志配置文件路径 | `/path/to/log4j
.pro
perties` |
| `
-D log
.level` | 设置
日志级别（全局） | `INFO` 或 `DEBUG` |
| `
-D env
.java
.opts` | 附加 JVM 参数（如 GC 调优） | `
-XX:
+UseG
1GC` |
---
### 六、动态参数（通过 `
-D` 传递）
| 参数格式 | 说明 |
|
--------------------------|
----------------------------------------------------------------------|
| `
-D key=value` | 覆盖 `
flink-conf
.yaml` 中的
配置或传递自定义参数到
Flink 任务。 |
---
### 七、完整启动命令示例
```bash
./bin/
flink run
-application \
-t
yarn-application \
-D
jobmanager
.memory
.process
.size=2048m \
-D taskmanager
.memory
.process
.size=4096m \
-D
yarn.containers
.vcores=2 \
-D taskmanager
.numberOfTaskSlots=2 \
-D
yarn.application
.name=
Flink-Example \
-D high
-availability=zookee
per \
-D high
-availability
.zookee
per.quorum=zk
1:2
18
1,zk2:2
18
1 \
-p 4 \
-c com
.example
.Main
Job \
/path/to/
job.jar
```
---
### 八、参数验证方法
1. **
YARN Web UI**：
- 访问 `http://<
yarn-resourcemanager>:8088`，查看应用资源分配（内存、vCores）。
2
. **
Flink Web UI**：
- 通过
YARN 提供的 Tracking URL 进入
Flink Dashboard，检查 TaskManager 的 Slot 和内存。
3
. **
日志定位**：
- 检查
YARN Container
日志（通过 Web UI 下载或 `
yarn logs
-applicationId <app_id>`）。
---
### 九、常见问题与解决
1. **资源不足导致任务失败**：
- 现象：
YARN 无法分配容器（`Exit code:
137`）。
- 解决：增大 `
-yjm`/`
-ytm` 并预留
10%~20% 的系统开销。
2
. **Slot 与 vCores 不匹配**：
- 现象：CPU 利用率低或线程竞争。
- 解决：确保 `taskmanager
.numberOfTaskSlots ≤
yarn.containers
.vcores`。
本文介绍了在将Flink作业部署到YARN集群时遇到的异常，包括由于Hadoop依赖冲突导致的问题，以及如何通过Maven Helper排除相关jar包。此外，还分享了flink pom.xml的日志配置，尽管存在日志警告但不影响输出。最后，讨论了作业重启后如何利用checkpoint恢复状态。
最低0.47元/天 解锁文章
扫一扫
450
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
