Flink使用滚动窗进行JSON事件计数

最新推荐文章于 2025-02-01 16:14:08 发布

原创

最新推荐文章于 2025-02-01 16:14:08 发布 · 347 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文介绍如何使用Flink进行JSON事件的滚动窗口计数，从Kafka接收JSON事件，通过自定义的AggregateFunction和WindowFunction进行5秒窗口的事件数量统计。

Flink使用滚动窗进行JSON事件计数

定义计数累积函数

定义AggregateFunction和WindowFunction

方法一重载AggregateFunction的Add

    public static class MyCountAggregate implements AggregateFunction<SecEvent, Long, Long> {
   
   
        @Override
        public Long createAccumulator() {
   
   
            /*访问量初始化为0*/
            return 0L;
        }
        @Override
        public Long add(SecEvent value, Long accumulator) {
   
   
            /*访问量直接+1 即可*/
            return accumulator+1;
        }
        @Override
        public Long getResult(Long accumulator) {
   
   
            return accumulator;
        }
        /*合并两个统计量*/
        @Override
        public Long merge(Long a, Long b) {
   
   
            return a+b;
        }
    }
    
    public static class MyCountWindowFunction implements WindowFunction<Long,String,String, TimeWindow> {
   
   
        @Override
        public void apply(String eventType, TimeWindow window, Iterable<Long> input, Collector<String> out) throws Exception {
   
   
                /* 输出 */
                /*out.collect("productId"productId,window.getEnd(),input.iterator().next()));*/
                out.collect("----------------窗口时间："+window.getEnd());
                out.collect("事件: " + eventType + " 数目: "+ input.iterator().next());