Flink分区策略

最新推荐文章于 2025-03-08 04:14:30 发布

哥伦布112

最新推荐文章于 2025-03-08 04:14:30 发布

阅读量4.5k

点赞数 1

分类专栏： flink 文章标签： flink

本文链接：https://blog.youkuaiyun.com/u013939918/article/details/107032239

版权

flink 专栏收录该内容

58 篇文章

订阅专栏

本文详细介绍了Flink支持的八种分区策略，包括Global、Shuffle、Rebalance、Rescale、Broadcast、Forward、KeyGroupStream及CustomPartitioner，每种策略都有其特定的应用场景和效果，如RescalePartitioner根据上下游算子的并行度智能分配数据，CustomPartitioner允许用户自定义分区逻辑。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目前Flink支持8种分区策略：
GlobalPartitioner：数据会被分发到下游算子的第一个实例中进行处理。
ShufflePartitioner ：数据会被随机分发到下游算子的每一个实例中进行。
RebalancePartitioner：数据会被循环发送到下游的每一个实例中进行处理。
RescalePartitioner ：这种分区器会根据上下游算子的并行度，循环的方式输出到下游算子的每个实例。这里有点难以理解，假设上游并行度为 2，编号为 A 和 B。下游并行度为 4，编号为 1，2，3，4。那么 A 则把数据循环发送给 1 和 2，B 则把数据循环发送给 3 和 4。假设上游并行度为 4，编号为 A，B，C，D。下游并行度为 2，编号为 1，2。那么 A 和 B 则把数据发送给 1，C 和 D 则把数据发送给 2。
BroadcastPartitioner ：广播分区会将上游数据输出到下游算子的每个实例中。适合于大数据集和小数据集做Jion的场景。
ForwardPartitioner：用于将记录输出到下游本地的算子实例。它要求上下游算子并行度一样。简单的说，ForwardPartitioner用来做数据的控制台打印。
KeyGroupStreamPartitioner ：Hash 分区器。会将数据按Key的Hash值输出到下游算子实例中。
CustomPartitionerWrapper：用户自定义分区器。需要用户自己实现 Partitioner 接口，来定义自己的分区逻辑。
static class CustomPartitioner implements Partitioner<String> {
@Override
public int partition(String key, int numPartitions) {
switch (key){
case "1": return 1;
case "2": return 2;
case "3": return 3;
default : return 4;
}
}
}