flink远程提交

最新推荐文章于 2025-02-28 09:32:53 发布

学习笔记cmj

最新推荐文章于 2025-02-28 09:32:53 发布

阅读量1.8k

点赞数

分类专栏： netty

本文链接：https://blog.youkuaiyun.com/qq_29499107/article/details/113405409

版权

netty 专栏收录该内容

3 篇文章

订阅专栏

该博客展示了如何在Java环境中使用Flink API创建一个简单的数据处理任务，并通过远程提交方式运行到Flink集群。主要步骤包括创建远程执行环境、定义数据源、数据转换和执行计划。此外，还讨论了远程提交与Web提交的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

java面试题网站：www.javaoffers.com

package flink.api.sample
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import  org.apache.flink.api.common.JobExecutionResult

/**
  * 1： 先打包，后提交远程，在远程查看是否已经运行，如果运行则关闭此main进程即可，这里实际充当客户端
  * flink 提交远程任务,
  *
  * 远程提交和Web提交区别：
  *   远程提交在web页面中的submit now job 页面中看不到，但是在jobs中能看到。而web页面提交能在submit now job 中看到，
  *   并且可以在web再次直接提交为run job,所以远程提交可以看作为直接提交为run job
  *
  */
object FlinkRomoteCommitTask {

  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.createRemoteEnvironment("localhost",8081,"/home/cmj/idea-projects/mh-doc/out/artifacts/flinkRomote/bigdata-doc.jar")
    env.socketTextStream("localhost",8080)
      .flatMap(_.split(" "))
      .map((_,1))
      .keyBy(_._1)
      .sum(1)//相同的key永远叠加，因为没有窗口函数
      .print() //打印数据
    env.execute("FlinkRomoteCommitTask")

  }

}