通过java代码的方式提交任务远程到flink集群

原创

已于 2022-11-29 15:54:29 修改 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java #开发语言 #flink

于 2022-11-29 15:52:29 首次发布

本文介绍了如何通过Java代码将Flink任务提交到远程集群。首先，需要在pom文件中引入相关依赖。接着，利用PackagedProgram类的Builder方法设置mainClass和jarPath等信息，并配置SavepointRestoreSettings。然后，通过PackagedProgramUtils的createJobGraph方法创建JobGraph，可以选择指定或随机生成JobId。最后，配置并行度，抑制输出，并将JobGraph提交到远程Flink集群。

flink通过java代码的方式提交任务

1. 引入pom文件

 <dependency>
     <groupId>org.apache.flink</groupId>
     <artifactId>flink-clients_2.12</artifactId>
     <version>1.13.0</version>
 </dependency>

2.PackagedProgram类创建

2.1 PackaghedProgram.newBuilder

可以通过它的Builder方法实现,需要设置一些必备的信息,比如mainClass,jarPath这些

val packagedProgram: PackagedProgram = PackagedProgram
    .newBuilder()
    .setEntryPointClassName("你的flink程序文件主函数入口")
     //"你的flink程序文件"
    .setJarFile(jarFile)
     //"savepoint的信息"
    .setSavepointRestoreSettings(SavepointRestoreSettings.</