Flink消费Kafka数据指定offset的五种模式

最新推荐文章于 2024-01-22 23:02:49 发布

转载最新推荐文章于 2024-01-22 23:02:49 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/LINBE_blazers/article/details/108489375

文章标签：

#kafka #flink #big data

本文介绍了如何使用Apache Flink的KafkaConsumer从多种起始位置（最早、特定时间点、特定offset、最新和组消费）消费Kafka主题数据，详细讲解了设置起始位置的不同方法及其应用场景。

文章目录

总结

代码如下（示例）：

FlinkKafkaConsumer consumer = new FlinkKafkaConsumer("topic", new SimpleStringSchema(), props);
 
/**
* Flink从topic中最初的数据开始消费
*/
consumer.setStartFromEarliest();
 
/**
* Flink从topic中指定的时间点开始消费，指定时间点之前的数据忽略
*/
consumer.setStartFromTimestamp(1559801580000l);
 
/**
* Flink从topic中指定的offset开始，这个比较复杂，需要手动指定offset
*/
consumer.setStartFromSpecificOffsets(offsets);
 
/**
* Flink从topic中最新的数据开始消费
*/
consumer.setStartFromLatest();
 
/**
* Flink从topic中指定的group上次消费的位置开始消费，所以必须配置group.id参数
*/
consumer.setStartFromGroupOffsets();