Flink得Aggregate和minBy、maxBy的区别

最新推荐文章于 2025-02-01 16:14:08 发布

清心静语

最新推荐文章于 2025-02-01 16:14:08 发布

阅读量518

点赞数

分类专栏： Transformatiom 文章标签： flink

本文链接：https://blog.youkuaiyun.com/qq_45329047/article/details/112944032

版权

Transformatiom 专栏收录该内容

1 篇文章

订阅专栏

该博客通过代码实例分析了 Apache Flink 中的 Aggregate 函数（聚合）与 minBy、maxBy 方法的区别。Aggregate 函数用于对数据进行聚合操作，如 SUM、MAX 和 MIN，但结果可能不保留原始键值对应关系。而 minBy 和 maxBy 在找到最小值或最大值时，会返回包含该值的完整元组，确保键值对应。这为数据分析提供了不同方式的选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink得Aggregate和minBy、maxBy的区别

直接代码结果分析说明
public class AggregateDemo {
public static void main(String[] args) throws Exception {
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
DataSource dataSource = env.readTextFile(“data/apache.log”);
MapOperator<String, Tuple2<String, Integer>> map = dataSource.map(new MapFunction<String, Tuple2<String, Integer>>() {
@Override
public Tuple2<String, Integer> map(String value) throws Exception {
return Tuple2.of(value.split(" ")[0], 1);
}
});

    GroupReduceOperator<Tuple2<String, Integer>, Tuple2<String, Integer>> reduceOperator = map.groupBy(0).reduceGroup(new GroupReduceFunction<Tuple2<String, Integer>, Tuple2<String, Integer>>() {
        @Override
        public void reduce(Iterable<Tuple2<String, Integer>> values, Collector<Tuple2<String, Integer>> out) throws Exception {
            String key = null;
            int count = 0;
            for (Tuple2<String, Integer> value : values) {
                key = value.f0;
                count += value.f1;
            }
            out.collect(Tuple2.of(key, count));
        }
    });

    reduceOperator.print();

    System.out.println("--------------------");
    reduceOperator.aggregate(Aggregations.MAX,1).print();
    reduceOperator.aggregate(Aggregations.MIN,1).print();
    reduceOperator.aggregate(Aggregations.SUM,1).print();
}

}

这个代码运行结果如下：
.csdnimg.cn/20210121143204699.png)