Flink 中KeyBy、分区、分组的正确理解

原创

已于 2023-11-24 15:25:56 修改 · 5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

于 2023-10-13 17:08:20 首次发布

本文围绕Flink展开，介绍了常用聚合算子KeyBy，它能按相同Key对数据重新分区，底层通过Hash实现。还阐述了分组和分区的区别，分区用于并行处理，分组用于归类相同键值数据。最后给出了代码示例。

1.Flink中的KeyBy

在Flink中，KeyBy作为我们常用的一个聚合类型算子，它可以按照相同的Key对数据进行重新分区，分区之后分配到对应的子任务当中去。
源码解析
keyBy 得到的结果将不再是 DataStream，而是会将 DataStream 转换为 KeyedStream(键控流)，KeyedStream 可以认为是“分区流”或者“键控流”，它是对 DataStream 按照 key 的一个逻辑分区。
所以泛型有两个类型：除去当前流中的元素类型外，还需要指定 key 的类型。
在这里插入图片描述
KeyBy是如何实现分区的呢

Flink中的KeyBy底层其实就是通过Hash实现的，通过对Key的值进行Hash，再做一次murmurHash，取模运算。
再通过Job的并行度，就能获取每个Key应该分配到那个子任务中了。

在这里插入图片描述

2.分组和分区在Flink中的区别

分区：分区（Partitioning）是将数据流划分为多个子集，这些子集可以在不同的任务实例上进行处理，以实现数据的并行处理。
数据具体去往哪个分区，是通过指定的 key 值先进行一次 hash 再进行一次 murmurHash，通过上述计算得到的值再与并行度进行相应的计算得到。
分组：分组（Grouping）是将具有相同键值的数据元素归类到一起，以便进行后续操作（如聚合、窗口计算等）。
key值相同的数据将进入同一个分组中。
注意：数据如果具有相同的key将一定去往同一个分组和分区，但是同一分区中的数据不一定属于同一组。

3.代码示例

package com.flink.DataStream.Aggregation;

import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import