Flink笔记-sink写入kafka

最新推荐文章于 2024-12-23 14:00:29 发布

原创最新推荐文章于 2024-12-23 14:00:29 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #分布式

Flink 专栏收录该内容

10 篇文章

订阅专栏

该代码示例演示了如何在Apache Flink中创建一个数据流处理程序，从Kafka的'dwd'主题消费字符串类型的数据，并将处理后的数据发布到名为'out'的Kafka主题。配置包括设置Flink并行度为3，定义Kafka消费者的服务器地址和生产者的配置。

public class KafkaSinkStream {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(3);

        DataStreamSource<String> sourceStream = env.addSource(new FlinkKafkaConsumer010<String>("dwd", new SimpleStringSchema(), KafkaUtils.comsumerProps()));

        // kafka配置
        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.3.160:9092");

        // flink写入kafka
        sourceStream.addSink(new FlinkKafkaProducer010<String>("out", new SimpleStringSchema(), props));

        env.execute();
    }
}