【Flink】Flink keyed State多年的误解 以及 Keyed state redistribute

已于 2023-12-23 15:01:41 修改
阅读量546 收藏 2
点赞数 1
分类专栏： 2025最新-大数据-flink 文章标签： flink Keyed State Redistribute
于 2021-08-29 14:50:34 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/119980273
版权
本文探讨了对Flink Keyed State的误解，指出Keyed State并非每个并行度上都有完整的Key副本，而是基于Key Group进行分布。内容详细解释了Key Group的分配原则和过期清理策略，并提出疑问：一个KeyState代表一个Key还是一个KeyGroup？测试结果显示，`getRuntimeContext().getState()`返回的是状态句柄，每个并行度一个，用于访问Sub-Task分配到的KeyGroups中所有Keys的状态值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在这里插入图片描述

1.概述

首先说说我对flink key state 多年的误解。以前我一直以为key State是类似这样的

在这里插入图片描述
假设数据如上，我原先以为当数据经过key的时候，流经下游的时候，数据是在下游根据key分组，如果key不存在，那么就增加一个key，如果存在，那么就放到一起，然后计算存储一个state，因此key state 每个不同的key之间是隔离的。

我这里错误的理解每个key在每个算子的每个并行度的task上，都会有一份或者平分，key1在并行度1上，key2在并行度2上。

这里这样理解有错误的，可以参考文章：【Flink】Flink Key State 和 Operator State 区别

或者参考视频：

了解本专栏 订阅专栏 解锁全文
Flink大数据实时计算系列-Flink的Operator State与Keyed State的Redistribute
段智华的博客
06-25 306
Flink大数据实时计算系列-Flink的Operator State与Keyed State的Redistribute 目录 Flink的Operator State与Keyed State的RedistributeFlink参考链接Flink系列博客 Flink的Operator State与Keyed State的Redistribute Flink参考链接 【Flink 官网】Apache Flink 【海牛学院】海牛社区资料 【海牛学院】大数据2020最新版Flink-青牛老师倾力打造 Fli
【Flink】Flink Key State 和 Operator State 区别
最新发布
九师兄
04-06 32
在Flink 当中有两种基本类型的State : Keyed State 和 Operator State。Keyed State：顾名思义就是基于 KeyedStream 上的状态，这个状态是跟特定的key 鄉定的，对 KeyedStream 流上的每一个key，都对应一个 state。如下图所示：假如输入流按照 id 为key 进行 keyBy 分组，形成一个 KeyedStream，数据流中所有id 为1的数据共享一个状态，可以访问和更新这个状态。以此类推，每个key 对应一个自己的状态。
flink的key-state
qq_44698610的博客
10-28 323
同key的进行状态计算，比较两者的区别 package com.uu.state import java.util.Date import com.uu.two.Humman import com.uu.two.utils.DateTrans import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.state.{ValueState, ValueStateDes
Flink状态管理深度探索：从Keyed State到分布式快照
Aaron_PHPer的博客
03-10 547
Flink的状态管理机制在金融、电商等领域经受住了PB级数据的实践检验。通过合理选择状态后端、优化检查点策略、实施精细化的资源管理，开发者可以构建出既具备实时响应能力又保证强一致性的流处理系统。随着云原生技术的发展，状态管理将向着更智能、更弹性的方向持续演进。
Flink的keyedState
weixin_43466909的博客
04-05 2548
State状态 StateBackEnd CheckPointing 重启策略 CheckPointingMode 重启策略详解 固定次数的重启策略 package cn._51doit.flink.day06; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy..
Operator、Keyed State及Redistribute
weixin_30917213的博客
08-17 171
1.Operator State使用 目前Operator State托管状态只是支持List类型的 (在使用Operator State时，要注意并行度的问题，很有可能因为并行度设置大于1，影响预期效果) 1.1 实现CheckpointedFunction接口 必须实现的两个方法： @Override public void initializeState...
flink的六大keyState（Java语言和Scala语言描述）
qq_44962429的博客
02-21 2009
1.valueState ValueState：这将保留一个可以更新和检索的值（作用域为输入元素的键，因此该操作看到的每个键可能会有一个值）。该值可以使用设置update(T)和使用检索 T value()。 1.1 java语言描述 valueState功能定义:对输入的数据数量统计,当数量达到2时,输出清零,之后继续统计。 package javaState.valuestate; impo...
flink--state状态管理
longlovefilm的博客
12-29 1425
前提： 1 flink state分为三种，1）operator state是跟算子关联的 2）keyed state是跟key stream关联的 3）broadcast state, 分为批Set的广播状态和流stream的流合并，一个广播流，一个事实流。 当Flink左右从checkpoint恢复，或者从savepoint中重启的时候，就回涉及到状态的重新分配，尤其是当并行度发生改变的时...
Flink之状态编程OperatorState的使用
蔡政洁的博客
04-02 2572
t6t
Flink状态的缩放（rescale）与键组（Key Group）设计
LittleMagic's Blog
02-02 8420
前言 在之前那篇讲解Flink Timer的文章里，我曾经用三言两语简单解释了Key Group和KeyGroupRange的概念。实际上，Key Group是Flink状态机制中的一个重要设计，值得专门探究一下。本文先介绍Flink状态的理念，再经由状态——主要是Keyed State——的缩放（rescale）引出KeyGroup的细节。 再认识Flink状态 自从开始写关于F...
掌握Flink键控状态（Keyed State）：深入指南与实践
2402_85761468的博客
08-06 1098
在Flink中，键控状态是与特定键相关联的状态，每个键可以有自己的状态副本。键控状态对于需要对每个分组键分别进行计算的场景非常有用，例如，计算每个用户的点击总数。
11、Flink 的 Keyed State 详解
猫猫爱吃小鱼粮
05-01 1672
Flink 的 Keyed State 详解
Flink状态概念--KeyedState示例
JinVijay的博客
02-20 1029
ValueSate /** * * ValueState的底层实现 * Flink中的State分为两种:KeyedState(keyBy之后对应的State),和OperatorState(没有keyBy的State) * * ValueState是KeyedState中的一种 * * 1.KeyedState是KeyedState中的一种 * 2.如果想要容错,必须要开启checkpointing,并且按照Flink的状态API进行编程(将中间结果保存在Flink特殊的变量中) *
聊聊flink的Managed Keyed State
weixin_33971977的博客
12-22 223
序 本文主要研究一下flink的Managed Keyed State State flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/state/State.java /** * Interface that different types of partitioned state must implement. * * &l...
【Flink-API】数据交换和Redistribute
09-25 305
在Flink中，是TaskManager而不是task在网络上交换数据.比如，处于同一个TM内的task,他们之间的数据交换是在- -个网络连接(TaskManager 创建并维护)上基于多路复用的。 ExecutionGraph:执行图是- -个包含job计算的逻辑的数据结构.它包含节点(ExecutionVertex, 表示计算任务),以及中间结果(IntermnediateResultPartition,表示任务产生的数据).节点通过ExecutionEdge(EE)来连接到它们要消费的中间结果:
Flink状态专题：keyed state和Operator state
weixin_30409849的博客
08-01 392
众所周知，flink是有状态的计算。所以学习flink不可不知状态。 正好最近公司有个需求，要用到flink的状态计算，需求是这样的，收集数据库新增的数据。 听起来很简单对吧？起初我也这么认为，现在发现，这尼玛就是变相的动态读取啊。 　　因为数据是一直在增加的，你需要记录这次收集的结果，用于下一次的运算，所以要用到状态计算。 　　废...
Flink key state 为何仅与 key 有关的
shengjk1的博客
05-26 485
1. 依赖 2. 以 RocksDBListState 为例 2.1 add、get 方法讲解 2.2 关键性方法讲解 3. 结论 1. 依赖 前面两篇我已经讲过 Flink getRuntimeContext().getMapState的时候发生了什么？以及 Flink StateDescriptor Name的作用。 今天我们在这个的基础上一起来看一下，为什么 key state 仅仅与 key 有关，无论我取数据还是修改数据，仅仅只能取到(修改)这个key 对应的那一部分。 2...
Flink Streaming keyedState的理解和使用
alike_u的博客
09-01 455
前言： 本文所有理解、资料、图片基本上都是来源于官网，更多的是对官网描述的一个总结和概括。 一、什么是state State直译上去是”状态”一次，这个有点抽象难以理解。那什么是状态，究竟如何应用到我们的编码过程当中呢？在流式编程中，基本的处理流程是来一条数据，我就处理一条，这种单条和单条数据之间的处理很难形成一个对数据的分析，以下面的Access日志为例，我们对类似于这样的流式数据求一个实时访问量需求。 Access IP地址 服务商 页面地址 1...
Flink---键控状态（keyed state）
Knight
07-03 3057
键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态。当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key。因此，具有相同 key 的所有数据都会访问相同的状态。Keyed State 很类似于一个分布式的 key-value map 数据结构，只能用于 KeyedStream（keyBy 算子处理之后）。 Flink 的 Keyed State
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值