<think>
我们正在分析用户的问题：
用户希望了解执行 `
flink run
-t
yarn-per-job -c com.sxemc.chapter2.UnBoundWordCount original
-demo11
-1.0
-SNAPSHOT.jar` 命令的含义以及可能出现的错误和解决办法。
首先，我们分解这个命令：
命令格式：`
flink run [options] <jar
-file> <arguments>`
具体参数
解析：
- `
-t
yarn-per-job`：指定部署
模式为
YARN per-job模式（每个作业启动一个单独的
Flink集群）。
- `
-c com.sxemc.chapter2.UnBoundWordCount`：指定入口
类（main方法所在的
类）。
- `original
-demo11
-1.0
-SNAPSHOT.jar`：要运行的JAR包。
常见问题及解决方案：
1. **
类找不到（ClassNotFoundException）**：通常是因为指定的
类名错误或JAR包中不存在该
类。
解决：检查
类名拼写，确认JAR包中包含该
类。
2. **
YARN资源不足**：
YARN集群没有足够的资源启动ApplicationMaster或TaskManager。
解决：检查
YARN资源队列的状态，调整
Flink作业的资源请求（通过`
-yjm`、`
-ytm`等参数）。
3. **依赖冲突**：用户JAR包中的依赖与
Flink或Hadoop的依赖冲突。
解决：使用`maven
-shade
-plugin`打包时重命名依赖，或排查冲突的依赖。
4. **HDFS权限问题**：
Flink需要向HDFS上传作业JAR和配置文件，若当前用户没有权限则失败。
解决：使用`kinit`进行Kerberos认证，或联系管理员授权HDFS目录。
5. **网络问题**：作业提交过程中网络中断。
解决：重试提交，检查网络连接。
6. **入口
类错误**：入口
类没有继承正确的接口或main方法签名错误。
解决：确认
类实现了`org.apache.
flink.api.java.utils.ParameterTool`或正确使用`env.execute()`。
7. **版本不兼容**：
Flink客户端版本与
YARN集群上的
Flink版本不一致。
解决：确保提交作业的
Flink客户端版本与集群上安装的版本一致。
8. **配置文件错误**：如`
flink-conf.yaml`配置错误（例如HA配置不正确）。
解决：检查配置文件，特别是
YARN相关的配置。
其他注意事项：
- 在
YARN per-job模式下，作业完成后集群资源会自动释放。
- 可以通过`
-yD`参数指定动态属性，例如：`
-yD taskmanager.memory.process.size=2048m`。
生成相关问题：
1. 如何查看提交到
YARN的
Flink作业日志？
2.
Flink on
YARN 有哪些部署
模式？它们之间有什么区别？
3. 如何为
Flink作业指定自定义的
YARN队列？
4.
Flink作业提交时如何传递参数？
5.
Flink on
YARN 作业失败的原因有哪些？如何排查？
根据以上分析，我们组织答案。
</think>
###
Flink命令
解析：`
flink run
-t
yarn-per-job -c com.sxemc.chapter2.UnBoundWordCount original
-demo11
-1.0
-SNAPSHOT.jar`
#### 一、命令结构
解析
| 参数 | 含义 | 数学表示 |
|
------------------------------|
----------------------------------------------------------------------|
-----------------------------|
| `
flink run` | 提交
Flink作业到集群 | $\text{
job} \to \text{cluster}$ |
| `
-t
yarn-per-job` | 部署
模式：
YARN per-job（每个作业独立集群） | $\text{mode}_{\text{
yarn-per-job}} = \text{isolated}$ |
| `
-c com.sxemc.chapter2.UnBoundWordCount` |
主类全限定名（程序入口） | $\text{main}_{\text{class}} \in \text{JAR}$ |
| `original
-demo11
-1.0
-SNAPSHOT.jar` | 应用程序JAR包路径 | $\text{
job}_{\text{package}} = f(\text{path})$ |
#### 二、部署
模式对比
|
模式 | 资源隔离 | 启动速度 | 适用场景 | 资源方程 |
|
-----------------|
----------------|
----------|
-------------------|
------------------------|
| **
yarn-per-job**| 作业级隔离 | 慢 | 生产环境稳定作业 | $R_{\text{total}} = \sum R_{\text{
job}}$ |
|
yarn-session | 会话级共享 | 快 | 开发/测试环境 | $R_{\text{pool}} = \text{const}$ |
| kubernetes | 容器级隔离 | 中等 | 云原生环境 | $R_{\text{pod}} \subset R_{\text{node}}$ |
#### 三、常见错误及解决方案
1. **
主类找不到（ClassNotFoundException）**
```bash
Caused by
: java.lang.ClassNotFoundException
: com.sxemc.chapter2.UnBoundWordCount
```
**原因**：
- JAR包未包含指定
类：$\text{class} \notin \text{JAR}$
- 类路径不正确：$ \text{classpath} \neq \text{actual\_path} $
**解决**：
```bash
# 检查JAR内容
jar
-tf original
-demo11
-1.0
-SNAPSHOT.jar | grep UnBoundWordCount
# 重新打包包含
主类
mvn clean package
```
2. **
YARN资源不足**
```log
Exception
: Could not allocate resource manager
```
**资源方程分析**：
$$ \text{requested}_{\text{vcpu}} > \text{available}_{\text{vcpu}} \quad \lor \quad \text{requested}_{\text{mem}} > \text{available}_{\text{mem}} $$
**解决**：
```bash
# 降低资源请求
flink run
-t
yarn-per-job \
-yjm 1024 \ # AM内存(MB)
-ytm 2048 \ # TM内存(MB)
-ys 2 \ # slot数量
-c ... original
-demo11
-1.0
-SNAPSHOT.jar
```
3. **依赖冲突**
```log
java.lang.NoSuchMethodError
: org.apache.
flink.api.common.functions.FlatMapFunction.flatMap
```
**原因**：
$$ \exists \text{lib}_A, \text{lib}_B
: \text{version}_A \neq \text{version}_B $$
**解决**：
```xml
<!
-- pom.xml 排除冲突依赖
-->
<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-streaming
-java</artifactId>
<exclusions>
<exclusion>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
</exclusion>
</exclusions>
</dependency>
```
4. **HDFS权限问题**
```log
org.apache.hadoop.security.AccessControlException
: Permission denied
```
**解决**：
```bash
# Kerberos认证
kinit
-kt user.keytab user@DOMAIN
# 临时HDFS授权
hdfs dfs
-chmod 755 /user/
flink
```
5. **网络超时**
```log
org.apache.
flink.runtime.rest.util.ConnectingTimeoutException
: Timeout
```
**优化参数**：
```bash
flink run
-t
yarn-per-job \
-yD akka.ask.timeout=120s \
-yD web.timeout=120000 \
-c ... original
-demo11
-1.0
-SNAPSHOT.jar
```
#### 四、最佳实践建议
1. **资源计算公式**：
$$
\text{TM内存} = \text{taskmanager.heap.mb} + \text{taskmanager.memory.off
-heap.size} + \text{network\_buffers}
$$
2. **日志排查路径**：
```bash
yarn logs
-applicationId <app_id> >
flink_debug.log
```
3. **参数优先级（由高到低）**：
CLI参数 > `
flink-conf.yaml` > 默认值
---
本文深入解析Flink在yarn-per-job模式下的实现原理，涉及从脚本到主类的过程。介绍了yarn-per-job模式的基本概念，详细解释了提交Flink应用的Shell脚本和主类解析，展示了如何通过CommandLineClient和YarnClusterDescriptor部署作业。通过源码分析，帮助读者理解Flink在YARN集群上的作业提交和执行流程。
订阅专栏 解锁全文
扫一扫
514
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
