<think>嗯，用户想了解如何在
YARN上部署
Flink，也就是
Flink on YARN的部署教程。我需要根据提供的引用内容，整理出一个清晰的步骤指南。首先，我应该先确认用户的需求是什么。他们可能是一个刚开始接触
Flink的大数据工程师，或者是想要将现有的
Flink任务迁移到
YARN上运行。用户可能对
YARN和
Flink的基本概念有一定了解，但需要具体的部署步骤和配置说明。
接下来，我需要查看用户提供的引用内容。引用[1]提到准备工作，比如Hadoop集群、环境变量和依赖包。引用[2]和[3]讨论了
Session-Cluster
模式，包括如何启动
yarn-session和提交任务。引用[4]提到了Applicati
on模式，
使用run
-applicati
on命令。引用[5]则涉及Hadoop依赖包的处理，需要用户自己下载并放置到lib目录下。
用户的问题是如何在
YARN上部署
Flink，所以需要覆盖
两种主要的部署
模式：
Session-Cluster和Applicati
on Mode。同时，必须确保每个步骤都正确，特别是关于依赖项和配置的部分。可能需要注意的常见问题包括依赖包缺失、Hadoop配置不正确，或者资源分配的问题。
首先，我应该列出部署前的准备工作，如安装Hadoop、配置环境变量、处理Hadoop依赖。然后分别讲解
两种部署
模式的具体步骤，包括启动集群和提交任务。可能还需要给出示例命令，这样用户可以直接复制
使用。此外，需要注意不同
模式下资源管理的区别，比如
Session-Cluster是常驻的，而Applicati
on Mode是任务级别的。
在引用内容中，引用[5]提到需要用户自行下载Hadoop依赖包，并放到
Flink的lib目录下。这一点很重要，否则可能会遇到类找不到的错误。需要详细说明这一步，包括下载地址的位置，可能用户需要访问提供的链接或文档来获取正确的依赖包。
另外，提交任务的命令有所不同，
Session-Cluster
使用flink run，而Applicati
on Mode
使用flink run
-applicati
on，并且需要指定D
yarn.provided.lib.dirs参数，引用HDFS上的
Flink分发目录。这部分需要明确说明，避免用户混淆。
可能用户还会遇到资源不足的问题，所以在步骤中可以提醒调整资源参数，比如内存和slot数量。同时，需要检查
YARN集群的状态，确保Hadoop服务正常运行，否则部署会失败。
最后，生成相关问题的时候，可以考虑用户可能进一步想知道如何优化部署、处理依赖冲突，或者监控
Flink任务在
YARN上的运行情况。这些问题有助于用户深入学习和解决问题。
现在需要将以上思路整理成一个结构化的回答，分步骤说明，确保每个部分都引用正确的来源，并在末尾添加相关问题。同时，要保持语言简洁，
使用中文，符合用户的要求。</think>###
Flink on YARN 部署教程
#### 一、部署前准备
1. **Hadoop集群环境**
确保已部署Hadoop集群（版本需与
Flink兼容），并启动
YARN服务。可通过`jps`命令检查`ResourceManager`和`NodeManager`是否正常运行[^2]。
2. **
Flink环境配置**
- 下载与Hadoop兼容的
Flink版本，并解压到指定目录。
- 配置环境变量：
```bash
export HADOOP_CLASSPATH=`hadoop classpath` # 确保Hadoop依赖正确加载[^5]
```
3. **Hadoop依赖包处理**
- 从
Flink官网提供的地址下载与Hadoop版本对应的依赖包（如`
flink-shaded
-hadoop
-3
-uber.jar`）[^5]。
- 将依赖包复制到
Flink的`lib`目录下，否则无法访问HDFS或
YARN资源。
---
#### 二、
两种部署
模式详解
##### 1. **
Session-Cluster
模式（常驻集群）**
- **特点**：预先分配固定资源，任务共享集群，适合短时高频任务。
- **启动集群**：
```bash
./bin/
yarn-session.sh
-n 2
-s 2
-jm 1024
-tm 2048
-nm my
FlinkSession
```
- `
-n`：TaskManager数量
- `
-s`：每个TaskManager的Slots数量
- `
-nm`：
YARN Applicati
on名称
- **提交任务**：
```bash
flink run examples/streaming/TopSpeedWindowing.jar #
使用已启动的
Session集群[^3]
```
##### 2. **Applicati
on Mode（按需集群）**
- **特点**：每个任务独立集群，资源按需分配，避免资源竞争[^4]。
- **提交任务**：
```bash
./bin/
flink run
-applicati
on -t
yarn-applicati
on \
-D
yarn.provided.lib.dirs="hdfs:///
flink/libs" \
hdfs:///jars/my
-flink-job.jar
```
- `
-D
yarn.provided.lib.dirs`：指定HDFS上的
Flink依赖目录（需提前上传）[^4]。
---
#### 三、关键注意事项
1. **依赖包冲突**
若出现Hadoop类冲突，检查`lib`目录中是否仅保留**一个**Hadoop依赖包[^5]。
2. **资源参数调整**
- 根据集群资源调整`
-jm`（JobManager内存）、`
-tm`（TaskManager内存）参数。
- 资源不足会导致
YARN任务提交失败。
3. **日志查看**
任务日志可通过
YARN Web UI（`http://<ResourceManager>:8088`）或`
yarn logs
-applicati
onId <appId>`查看。
---
扫一扫
1542
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
