flink不同环境动态传参

最新推荐文章于 2023-09-06 11:09:48 发布

原创

最新推荐文章于 2023-09-06 11:09:48 发布 · 1.9k 阅读

3 ·

CC 4.0 BY-SA版权

在实际生产中一般都有多个环境，比如开发环境，测试环境，生产环境等等。

不同的环境机器不同，一些组件的配置也不同，因此一个flink作业在不同的环境运行时需要指定对应的参数。

本文以动态配置不同环境的apollo.meta为例，介绍在web ui以及flink shell两种方式提交作业时如何动态指定参数。

job

public static void main(String[] args) throws Exception {


        StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<String> streamSource = environment.fromElements("hello world");

        //获取传入的参数
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        //注册给环境变量
        environment.getConfig().setGlobalJobParameters(parameterTool);
        //获取注册的配置
        ExecutionConfig.GlobalJobParameters parameters = environment.getConfig().getGlobalJobParameters();

        Map<String, String> map = parameters.toMap();
        //获取apollo.meta，并注册给系统变量
        String apollo = map.get("apollo");
        System.setProperty("apollo.meta", apollo);
        //apollo客户端就可以获取apo