Flink实践：idea将Flink任务提交到远程flink集群

最新推荐文章于 2024-09-23 09:29:44 发布

原创

最新推荐文章于 2024-09-23 09:29:44 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Apache Flink的StreamExecutionEnvironment将任务提交到远程Flink集群的方法，并展示了具体的代码实现步骤。通过设置主机名、端口及依赖文件等参数，可以成功在远程集群上启动并运行Flink任务。

1.idea将Flink任务提交到远程Flink集群

在Flink的StreamExecutionEnvironment.scala中有如下2个方法可以将任务提交到Flink集群：

def createRemoteEnvironment(host: String, port: Int, jarFiles: String*):StreamExecutionEnvironment = {
    new StreamExecutionEnvironment(JavaEnv.createRemoteEnvironment(host, port, jarFiles: _*))
}

def createRemoteEnvironment(
  host: String,
  port: Int,
  parallelism: Int,
  jarFiles: String*): StreamExecutionEnvironment = {
    val javaEnv = JavaEnv.createRemoteEnvironment(host, port, jarFiles: _*)
    javaEnv.setParallelism(parallelism)
    new StreamExecutionEnvironment(javaEnv)
}

StreamExecutionEnvironment创建方式如下：

val jarFiles = "E:\\workspace\\FlinkDemo11\\FlinkSQL\\target\\FlinkSQL-jar-with-dependencies.jar"
val env = StreamExecutionEnvironment.createRemoteEnvironment("hadoop1", 8081, jarFiles)
env.setParallelism(10)
env.setStream