Flink源码探究：yarn-per-job模式解析——从脚本到主类

Flink源码探究：yarn-per-job模式解析——从脚本到主类

一、引言
Big Data 大数据技术在当今信息时代中的应用越来越广泛。Flink作为一种流式处理框架，具有高效、可扩展和容错性强等优点，成为大数据处理的首选之一。其中，Flink的yarn-per-job模式可实现将Flink应用提交到YARN集群上进行分布式运行。本文将深入解析Flink在yarn-per-job模式下的实现原理，涉及从脚本到主类的过程，并附有相应源代码。

二、yarn-per-job模式基本介绍
Flink的yarn-per-job模式是一种将Flink应用作为独立作业（job）提交到YARN集群上的方式。它能够根据应用的需求，在YARN上为每个应用创建一个独立的Application Master（AM），用于协调作业的执行和资源管理。相比yarn-session模式，yarn-per-job模式更适合于运行长时间或独立性较强的作业。

三、源码解析

1. 脚本解析
   在yarn-per-job模式中，用户可以通过Shell脚本来提交Flink应用。脚本中包含了一些关键信息，如Flink程序的路径、运行参数、作业名称等。下面是一个示例脚本（submit.sh）：

#!/bin/bash

flink run -m yarn-cluster