Flink的新老KafkaSource算子对比

最新推荐文章于 2025-06-02 19:09:10 发布

原创

最新推荐文章于 2025-06-02 19:09:10 发布 · 211 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

本文介绍了ApacheFlink中从老版本的FlinkKafkaConsumerAPI升级到新版KafkaSource的过程，包括配置参数调整、新API的使用以及水印策略的设置，以确保消息处理的EOS语义。

public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);
        /**
         * 老版本的API FlinkKafkaConsumer
         * 指定三个参数
         *  topic 名称
         *  反序列化 Schema，SimpleStringSchema 指的是读取 Kafka 中的数据反序列化成 String 格式；
         *  Properties 实例
         *  这种方式不能保证eos语义
         */
        Properties prop = new Properties();
        prop.setProperty("bootstrap.servers", "dw1:9092,dw2:9092,dw3:9092");
        prop.setProperty("group.id", "id1");
        prop.setProperty("enable.auto.commit", "true");
        FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>(
                "benge0920",
                new SimpleStringSchema(),
                prop);
        DataStreamSource<String> kafkaStream1 = env.addSource(kafkaConsumer);
        //kafkaStream1.print();