kafka stream 求最大值最小值求和

最新推荐文章于 2024-07-07 00:31:22 发布

LQW_home

最新推荐文章于 2024-07-07 00:31:22 发布

阅读量366

点赞数

CC 4.0 BY-SA版权

分类专栏：每天进步一点文章标签： kafka java 大数据

本文链接：https://blog.youkuaiyun.com/LQW_java_home/article/details/119955566

每天进步一点专栏收录该内容

38 篇文章

订阅专栏

此篇博客展示了如何使用Java Streams API在Kafka流中处理实时温度数据，通过窗口滑动计算每5秒内的最大值。关键步骤包括配置Kafka连接、定义窗口、聚合操作和打印结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

public static void main(String[] args) {
        Properties props = new Properties();
        props.put(StreamsConfig.APPLICATION_ID_CONFIG, "streams-temperature");
        props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092");
        props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
        props.put(StreamsConfig.CACHE_MAX_BYTES_BUFFERING_CONFIG, 0);

        StreamsBuilder builder = new StreamsBuilder();

        KStream<String, String> stream = builder.stream("t1");
        AtomicInteger i = new AtomicInteger(0);
        stream
                .groupByKey()
                .windowedBy(TimeWindows.of(TimeUnit.SECONDS.toMillis(5)))
                .aggregate(
                        ()->0L,
                        (k,v,sum)->{
                            long aLong = Long.parseLong(v);
//                            return sum+aLong; // 求和

//                            return sum>aLong?sum:aLong; //求5秒内最大值

//                            求5秒内最小值
                            if(sum == 0){
                                sum = aLong;
                            }
                            return sum>aLong?aLong:sum;




                        },
                        Materialized.<String, Long, WindowStore<Bytes, byte[]>>as("time-windowed-aggregated-temp-stream-store")
                                .withValueSerde(Serdes.Long())
                ).toStream().foreach((k,v)->{
            System.out.println(v);
        });


        KafkaStreams kafkaStreams = new KafkaStreams(builder.build(),props);

        kafkaStreams.start();

    }