DataSet和DataStream的分组

最新推荐文章于 2025-07-30 14:55:02 发布

RashaunHan

最新推荐文章于 2025-07-30 14:55:02 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： flink

本文链接：https://blog.youkuaiyun.com/u012580143/article/details/87691746

flink 专栏收录该内容

6 篇文章

订阅专栏

本文详细解析了Apache Flink中的关键数据处理概念——分组操作。阐述了DataSet使用groupBy进行分组，而DataStream则使用keyBy进行分组的原理。并强调了Flink的数据模型不基于键值对，keys是通过数据的函数定义的，用于指导分组运算符。同时，文章还提到了不能作为key的几种类型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一些转换（join，coGroup，keyBy，groupBy）要求在一组元素上定义一个键。其他转换（Reduce，GroupReduce，Aggregate，Windows）允许使用key 对数据进行分组。

DataSet被分组为：


DataSet<...> input = // [...]
    DataSet<...> reduced = input
        .groupBy(/*define key here*/)
        .reduceGroup(/*do something*/);

同时可以给DataStream指定一个键，方法如下：


DataStream<...> input = // [...]
    DataStream<...> windowed = input
        .keyBy(/*define key here*/)
        .window(/*window specification*/);

Flink的数据模型不是基于键值对。因此，您不需要将数据集类型物理打包到键和值中。Keys是“虚拟”：它们被定义为实际数据的函数，以指导分组运算符。

两种典型用法

dataStream.keyBy("someKey") // 指定对象中的 "someKey"字段作为分组key

dataStream.keyBy(0) //指定Tuple中的第一个元素作为分组key

注意：以下类型是无法作为key的

1：一个实体类对象，没有重写hashCode方法，并且依赖object的hashCode方法

2：一个任意形式的数组类型

3：基本数据类型，int，long

简单来说就是DataSet用groupBy分组，而DataStream用keyBy分组