flink消费kafka偏移量的澄清

        /**
         * 这个offset会保存在状态,也会保存在__consumer_offset中
         * 因此如果没有使用新的消费者组,重启任务即使不使用状态也不会从头消费
         */
        consumer.setCommitOffsetsOnCheckpoints(true);
        /**
         * 这里始终不提交,在kafka-eagle中都不会有这个consumer的信息
         */
        properties.setProperty(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        consumer.setCommitOffsetsOnCheckpoints(false);
        /**
         * 配置consumer.setCommitOffsetsOnCheckpoints(true)后,
         * 从头消费满足的条件:新的gid,earliest
         */
        properties.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "use_cnts_gid_6");
        properties.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); // String must be one of: latest, earliest, none

 

Flink 中,可以通过 `KafkaConsumer` 提供的 `FlinkKafkaConsumer` 来消费 Kafka 中的数据。而保存消费 Kafka偏移量可以使用 Flink 提供的 `FlinkKafkaConsumer` 的 `enableCheckpointing` 方法来实现。 具体做法如下: 1. 在创建 `FlinkKafkaConsumer` 对象时,设置 `enableCheckpointing` 方法开启 Flink 的 checkpoint 机制。 ```java FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>(topic, new SimpleStringSchema(), properties); kafkaConsumer.setStartFromEarliest(); kafkaConsumer.setCommitOffsetsOnCheckpoints(true); env.enableCheckpointing(5000); ``` 2. 设置 `setCommitOffsetsOnCheckpoints` 方法为 `true`,表示 Flink 在进行 checkpoint 时会自动提交当前消费 Kafka偏移量。 3. 在 Flink 应用程序中,可以通过实现 `CheckpointedFunction` 接口来手动管理 Kafka 偏移量的保存和恢复。 ```java public class KafkaConsumer implements SourceFunction<String>, CheckpointedFunction { private transient ListState<Long> offsetState; private volatile boolean isRunning = true; private long offset = 0L; @Override public void snapshotState(FunctionSnapshotContext context) throws Exception { offsetState.clear(); offsetState.add(offset); } @Override public void initializeState(FunctionInitializationContext context) throws Exception { ListStateDescriptor<Long> offsetStateDescriptor = new ListStateDescriptor<>("offsets", Long.class); offsetState = context.getOperatorStateStore().getListState(offsetStateDescriptor); if (context.isRestored()) { for (Long offset : offsetState.get()) { this.offset = offset; } } } @Override public void run(SourceContext<String> ctx) throws Exception { while (isRunning) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000)); for (ConsumerRecord<String, String> record : records) { offset = record.offset(); ctx.collect(record.value()); } } } } ``` 在 `snapshotState` 方法中,将当前消费 Kafka偏移量保存到 `offsetState` 状态变量中。在 `initializeState` 方法中,可以从状态变量中恢复保存的偏移量。在 `run` 方法中,每次消费 Kafka 中的数据时,都会更新 `offset` 变量为当前消费偏移量。 这样,当 Flink 应用程序出现故障,重新启动时,就可以从保存的偏移量处继续消费 Kafka 中的数据,避免了数据的重复消费
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值