flink 命令行提交jar时，传入自定义的参数或配置文件，任务运行时获取参数

原创

已于 2022-05-17 16:16:47 修改 · 8.5w 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#flink

于 2020-09-30 10:31:33 首次发布

本文介绍Flink ParameterTool类如何从命令行参数、Properties文件和系统属性中读取参数，通过示例演示了如何在jar命令提交和本地运行时自定义参数。适合理解Flink参数管理的开发者使用。

文章目录

- Flink提供ParameterTool类，从不同的来源读取参数

Flink提供ParameterTool类，从不同的来源读取参数

在这里插入图片描述

一.方法

1.fromArgs方法

读取在命令行中传递的参数，注意传参格式为 key value ，key必须以 - 或者 – 开头，如 --key1 value1 --key2 value2 -key3 value3
在这里插入图片描述

2.fromPropertiesFile方法

读取Properties文件
在这里插入图片描述

在这里插入图片描述

3.fromSystemProperties方法

读取system properties，通过-Dkey1=value1 -Dkey2=value2传递
在这里插入图片描述

二.示例

1.命令行提交jar，自定义参数

public class Demo {
    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        ParameterTool parameters = ParameterTool.fromArgs(args);
        String local_path = parameters.get("path",null);  //指定参数名：path
        DataSet<String> toFilter = env.fromElements(local_path);
        FlatMapOperator<String, String> flatMap = toFilter.flatMap(new RichFlatMapFunction<String, String>() {
            @Override
            public void flatMap(String value, Collector<String> out) throws Exception {
                String[] split = value.split(",");
                for(String s:split){
                    out.collect(s);
                }
            }
        });
        flatMap.print();
    }
}

public class Upjar {
    public static void main(String[] args)

最低0.47元/天解锁文章