Flink集群提交作业运行

最新推荐文章于 2024-10-22 17:21:47 发布

陈同学�

最新推荐文章于 2024-10-22 17:21:47 发布

阅读量256

点赞数

文章标签： flink java

本文链接：https://blog.youkuaiyun.com/weixin_43866666/article/details/120740181

版权

Flink集群提交作业运行

Slot: 槽位
Task subTask 最底层：运行在Slot上面

进程：
TaskManangerRunner

1. 如何传入参数

object parametersApp {
  def main(args: Array[String]): Unit = {
    /**
     * 对任何作业来说： 涉及到得参数分为2个类
     * 1） 必填
     * 2） 可选
     *
     */
    val parameters: ParameterTool = ParameterTool.fromArgs(args)
    val host = parameters.get("host", "ip-172-18-35-127")
    val port = parameters.get("port", "9527")

    //    parameters.getRequired("")  必填

    println(host + " ..... " + port)

  }
}

在这里插入图片描述

参数传入

在这里插入图片描述

    val parameterTool = ParameterTool.fromPropertiesFile("config/cityos-flink.properties")
    println(parameterTool.get("topics"))

在这里插入图片描述

2. webUI上传

在这里插入图片描述
配置好参数

提交作业之后在页面查看详细内容
日志在taskmanager上

在这里插入图片描述

3. 指令启动

-c + 类名
-p 并行度
-s --fromSavepoint


/data/flink-1.13.1/bin/flink run \
-c com.cityos.subtask.StreamingWCClusterApp \
/data/flink-1.13.1/csz/cityos-tracking-flink-1.0-SNAPSHOT.jar  \
--host 172.18.25.128 --port 9527