Flink on yarn 集群启动步骤

一、Flink on yarn 集群搭建。

见笔者的博文：https://blog.youkuaiyun.com/magic_kid_2010/article/details/97004746

二、Flink on yarn 集群启动步骤。

步骤1：用户向 YARN 提交应用程序，其中包括 ApplicationMaster 程序、启动ApplicationMaster的命令、用户程序等。

步骤2：ResourceManager 为该应用程序分配第一个 Container，并与对应的 Node-Manager 通信，要求它在这个 Container 中

启动应用程序的 ApplicationMaster。

步骤3：ApplicationMaster 首先向 ResourceManager 注册，这样用户可以直接通过 ResourceManager 查看应用程序的运行状

态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。

步骤4：ApplicationMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。

步骤5：一旦 ApplicationMaster 申请到资源后，便与对应的 NodeManager 通信，要求它启动任务。

步骤6：NodeManager 为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，

并通过运行该脚本启动任务。

步骤7：各个任务通过某个 RPC 协议向 ApplicationMaster 汇报自己的状态和进度，以便让 ApplicationMaster 随时掌握各个任务

的运行状态，从而可以在任务失败时重新启动任务。  在应用程序运行过程中，用户可随时通过 RPC 向 ApplicationMaster 查询

应用程序的当前运行状态。

步骤8：应用程序运行完成后，ApplicationMaste r向 ResourceManager 注销并释放占用的相关资源。

【一起学习】