Flink源码解读--FlinkKafkaConsumer09

最新推荐文章于 2025-06-23 16:12:07 发布

原创

最新推荐文章于 2025-06-23 16:12:07 发布 · 7.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#Flink #kafka #consumer

本文详细解析了Flink消费Kafka0.9.x数据的过程，介绍了FlinkKafkaConsumer09的API使用，包括配置参数、消费者线程与分区的关系，以及Flink的容错机制和水位线概念。强调了消费者线程数应与主题分区数匹配以确保高效消费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、简介

Flink消费Kafka的数据（这里默认kafka版本是0.9.x），非常简单，只需要提供以下几项即可：

1、maven依赖
2、指定topic name（s）
3、指定DeserializationSchema
4、指定kafka的properties

其中，properties在kafka 0.9.x中，只需要配置两个选项即可,例如：

val kafkaProps = new Properties()
  kafkaProps.setProperty("bootstrap.servers", "localhost:9092")
  kafkaProps.setProperty("group.id", "flink consumer")

因此，Flink提供了一个high level的API来消费kafka的topic中的数据：

这里写图片描述

2、FlinkKafkaConsumer09解读

此类位于org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09,提供了4个API来接受不同的参数输入：
这里写图片描述
其中，前3个API最终都被转换为第4个API，代码如下：

public FlinkKafkaConsumer09(String topic, DeserializationSchema<T> valueDeserializer, Properties props) {
        this(Collections.singletonList(topic), valueDeserializer, props);
    }

public FlinkKafkaConsumer09(String topic, KeyedDeserializationSchema<T> deserializer, Properties props) {
        this(Collections.singletonList(topic), deserializer, props);
    }

public FlinkKafkaConsumer09(List<String> topics, DeserializationSchema<T> deserializer, Properties props) {
        this

最低0.47元/天解锁文章

200万优质内容无限畅学