flink的operator state简单理解

最新推荐文章于 2024-05-02 17:53:30 发布
最新推荐文章于 2024-05-02 17:53:30 发布
阅读量298 收藏
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lixia0417mul2/article/details/108949754
版权
  1. 每个子任务都有自己的状态，子任务之间的状态互相隔离，互不影响
  2. 每个子任务的状态一般都是列表的形势，相当于子列表
  3. 持久化存储的时候会把每个子任务的子列表组合起来，组成一个大的列表的结构
  4. 当任务失败重启的时候或者任务并行度变化的时候，从持久化存储中恢复数据
  5. 从持久化存储中恢复数据时，会把大的列表按照任务的并行度进行拆分，拆分成一个个子列表的形式分配给各个子任务
  6. 子任务获取到属于自己的子列表状态数据后，状态恢复完成
【Flink】Flink Key State 和 Operator State 区别
九师兄
04-06 46
在Flink 当中有两种基本类型的State : Keyed State 和 Operator State。Keyed State：顾名思义就是基于 KeyedStream 上的状态，这个状态是跟特定的key 鄉定的，对 KeyedStream 流上的每一个key，都对应一个 state。如下图所示：假如输入流按照 id 为key 进行 keyBy 分组，形成一个 KeyedStream，数据流中所有id 为1的数据共享一个状态，可以访问和更新这个状态。以此类推，每个key 对应一个自己的状态。
Flink 之 OperatorState的使用(已实现Exactly-Once)
扛麻袋的少年的博客
02-17 3444
Flink笔记(二十一)：场景 从指定路径读取文件中的内容，即实现 tail -f 的功能。 需求 并行读取数据； 获取 OperatorState 状态 + Checkpoint 机制，保证 Exactly-Once（已读数据在任务异常重启之后不会再次去读）； 文件夹有多个.txt 文件，根据 subTask Index来...
Flink 状态编程 （八）算子状态（Operator State）
weixin_45417821的博客
04-28 5081
文章目录基本概念和特点状态类型列表状态（ListState）联合列表状态（UnionListState）代码实现CheckpointedFunction 接口示例代码 从某种意义上说，算子状态是更底层的状态类型，因为它只针对当前算子并行任务有效，不需要考虑不同 key 的隔离。 基本概念和特点 算子状态（Operator State）就是一个算子并行实例上定义的状态，作用范围被限定为当前算子任务，与Key无关，不同Key的数据只要分发到同一个并行子任务，就会访问到同一个算子状态。 算子状态一般用在 Sour
flink之Operator State(non-keyed state)
qq_44962429的博客
01-20 1423
flink介绍，flink对所有的算子都支持有状态计算，在博主之前分享的文章中，关于keyed state已经做过很详细的介绍，欢迎各位发烧友点击https://blog.youkuaiyun.com/qq_44962429/article/details/104428236交流 虽然在我们平时的生产环境中，关于keyed state应用的比较多，但是对于那些基于窗口输出到外部系统的需要，为了数据不丢失或者重复输出到外部系统，sink算子也是需要进行保存状态的，接下来本文主要介绍Operator state 1、Ope
聊聊flink的OperatorStateBackend
weixin_33859231的博客
12-11 419
序 本文主要研究一下flink的OperatorStateBackend OperatorStateBackend flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/state/OperatorStateBackend.java /** * Interface that combines both, the user f...
Flink主要有两种基础类型的状态：operator state。
qq_42496461的博客
04-22 567
对应的initializeState()在每次初始化用户定义的函数时调用，可以是在函数第一次初始化时调用，也可以是在函数实际从较早的checkpoint恢复时调用。推荐使用managed state(而不是raw state)，因为使用managed state，当并行度变化时，Flink可以自动的重新分布状态，也可以做更好的内存管理。ListCheckpointed接口是CheckpointedFunction的一个有限制的变体，它只支持列表样式的状态，在恢复时使用均分重分区方案。
Flink Keyed State ，Operator State 作用 区别 用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 4045
看了那么多文章，说的模糊，很多都是直接翻译的！！！！ 加上自己的理解，写一篇。 为什么需要State？作用是什么？ 1 保存中间结果，实现某些功能 2 方便保存到检查点中，便于从检查点恢复 区别 一个算子的并行度是多少，就有多少个子任务。如果不同的key比较多，该算子的并行度低，那么一个子任务会处理多个key流。 Keyed State 与key相关，Operator State与key无关。 实现Operator State，需要手动实现CheckpointedFuncti...
Flink Operator State 实例 实现CheckpointedFunction
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1605
public interface CheckpointedFunction { // Checkpoint时会调用这个方法，我们要实现具体的snapshot逻辑，比如将哪些本地状态持久化 void snapshotState(FunctionSnapshotContext context) throws Exception; // 初始化时会调用这个方法，向本地状态中填充数据 void initializeState(FunctionInitializationContext con.
Flink中基于Operator State 的计算开发方法
Deepexi_Date的博客
03-22 494
文：王东阳 前言 在Flink中根据数据集是否根据Key进行分区，将状态分为Keyed State和Operator State（Non-keyed State）两种类型 ，在之前的文章《Flink中基于KeyedState的计算开发方法》已经详细介绍了Keyed State的概念和用法，本文将继续介绍Operator State。 Operator State与Keyed State不同的是，Operator State只和并行的算子实例绑定，和数据元素中的key无关，每个算子实例中持有所有数据元素中的一
Flink之状态编程OperatorState的使用
蔡政洁的博客
04-02 2586
t6t
Flink Operator State 实例 实现ListCheckpointed
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1378
public interface ListCheckpointed<T extends Serializable> { // Checkpoint时会调用这个方法，我们要实现具体的snapshot逻辑，比如将哪些本地状态持久化 List<T> snapshotState(long checkpointId, long timestamp) throws Exception; // 从上次Checkpoint中恢复数据到本地内存 void restoreState(L.
13、Flink 的 Operator State 详解
最新发布
猫猫爱吃小鱼粮
05-02 1861
Flink 的 Operator State 详解
Flink之OperatorState
AnameJL的博客
11-16 905
Flink 状态算子使用
Flink Operators
weixin_45607513的博客
03-06 274
Operators DataStream Transformations DataStream --> DataStream Map Takes one element and produces one element. A map function that doubles the values of the input stream 获取一个元素并生成一个元素。将输入流的值加倍的映射...
用Flink对Operator State 状态的代码进行hdfs的CheckpointedFunction恢复
fasdfafsd的博客
09-01 349
依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version&gt...
Apache Flink（五）: Flink Operator
qq_38310603的博客
11-16 446
Operator（操作符） DataStream Transformations 数据流转换 Datastream -> Datasteam Map（映射） 取一个元素并产生一个元素，是一个映射函数。下面的例子为使用Map将输入流的值加倍 dataStream.map { x => x * 2 } FlatMap（展开） 取一个元素并产生零个，一个或多个元素。FlatMap可将英文短...
flink--state状态管理
longlovefilm的博客
12-29 1428
前提： 1 flink state分为三种，1）operator state是跟算子关联的 2）keyed state是跟key stream关联的 3）broadcast state, 分为批Set的广播状态和流stream的流合并，一个广播流，一个事实流。 当Flink左右从checkpoint恢复，或者从savepoint中重启的时候，就回涉及到状态的重新分配，尤其是当并行度发生改变的时...
Flink的操作算子Operator
weixin_45316851的博客
05-15 936
Operator DataStream Transformations Datastream -> Datasteam Map Takes one element and produces one element. A map function that doubles the values of the input stream: dataStream.map { x => x * 2 } FlatMap Takes one element and produces zero, one, o
Flink Broadcast State实战案例：电商平台用户行为模式分析
皮皮鲁的AI星球
02-07 843
Broadcast State是Flink 1.5引入的功能，本文将跟大家分享Broadcast State的潜在使用场景，并使用电商用户行为分析的例子来演示Broadcast State的使用方法。关于Flink状态的基本原理，Keyed State和Operator State的使用方法，可以参考我之前的文章：Flink状态详解。 本文代码已上传到github：https://github.c...
flink operator state
04-12
flink operator state是Flink中的操作状态，指的是某个操作中需要维护的状态信息。这些状态信息包括操作过程中的计数器、累加器、缓存等等。在Flink中，可以使用状态后端来管理和存储这些状态信息，以便在故障恢复和扩展性方面获得更好的支持。由于Flink的状态管理能力非常强大，因此可以在大规模数据处理中实现许多复杂的操作，例如实时聚合、窗口计算等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值