flink 根据时间消费kafka

最新推荐文章于 2025-01-24 09:54:57 发布

原创

最新推荐文章于 2025-01-24 09:54:57 发布

· 4.4k 阅读

7 ·

版权

文章标签：

#flink #kafka

本文介绍了如何在Flink 1.9版本中，使用FlinkKafkaConsumer011根据时间戳来消费Kafka 0.11版本的消息。主要方法包括setStartFromTimestamp，并解析了其内部通过fetchOffsetsWithTimestamp计算offset的原理。同时提到，Flink SQL目前不直接支持此功能，但可以通过编码方式，利用KafkaTableSourceBase和SPECIFIC_OFFSETS模式实现类似目标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka版本：0.11
flink版本：1.9

FlinkKafkaConsumer011中提供了很多方法确定如何消费kafka消息：

setStartFromTimestamp
setStartFromEarliest
setStartFromLatest
setStartFromSpecificOffsets
setStartFromGroupOffsets

需要根据时间消费kafka消息，调用setStartFromTimestamp方法就行。

public class StreamingJob {
   
	public static void main(String[] args) throws Exception {
   
		// set up the streaming execution environment
		final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        Properties prop = new Properties();
        prop.put("bootstrap.servers", "localhost:9092");
        prop.put("group.id", "flink-streaming-job");
        FlinkKafkaConsumer011<String> consumer = new FlinkKafkaConsumer011<>("start_log", new SimpleStringSchema(), prop);
        //指定Timestamp位置开始消费kafka数据
        consumer.setStartFromTimestamp(1571909309022L);
        //source
        DataStream source = env.