Kafka消费者-代码示例和参数设置

原创

已于 2022-07-12 16:19:35 修改 · 置顶 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #分布式 #flink

于 2022-07-11 14:55:45 首次发布

本文介绍了如何在Java中配置Flink Kafka Consumer，包括设置订阅主题、反序列化规则、Kafka集群地址、消费者组ID、offset重置规则以及动态分区检测。同时，提供了创建主题和启动控制台生产者的步骤，以及启动Flink程序并观察输出结果的示例代码。

参数：

env.addSource(new Kafka Consumer/Source(参数))

参数设置：

1.订阅的主题
2.反序列化规则
3.消费之属性-集群地址
4.消费者属性-消费者组ID（如果不设置，会有默认的，但是默认的不方便管理）
5.消费之属性-offset重置规则，如earliest/latest…
6.动态分区检测（当Kafka的分区数变化、增加时，Flink能够检测到！）
7.如果没有设置Checkpoint，那么可以设置自动提交offset，后续学习了Checkpoint会把offset随着做Checkpoint的时候提交到Checkpoint和默认主题中

示例代码

 ···
 package cn.itcast.connectors;

import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

/**
 * Author itcast
 * Desc 演示Flink-Connectors-KafkaComsumer/Source
 */
public class KafkaComsumerDemo {
    public static void main(String[] args) throws Exceptio