Flink系列：State状态使用方法

最新推荐文章于 2025-03-14 16:54:18 发布
原创 最新推荐文章于 2025-03-14 16:54:18 发布 · 9.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Flink的状态管理和容错机制，重点讲解了State的使用和CheckPoint的创建与恢复过程，同时讨论了flink-conf.yaml配置文件中关于Checkpoint和Savepoint的相关设置，为确保任务在异常时能够恢复提供保障。

目录

State和CheckPoint

容错：快照创建与恢复

使用方法 

savepoint

State和CheckPoint

一个Task在处理过程中出现了异常，那么状态State就会丢失。

State指某个具体的 Task/Operator 的状态，State保存在TaskManager内存中，CheckPoint存储在JobManager内存中。
CheckPoint（把State数据持久化存储），表示了Flink Job在一个特定时刻的一份全局状态快照，包含了所有 Task/Operator 的状态。
Flink定期把各个Stream的state快照保存起来，以便出现异常情况时，从最近的一份快照恢复。

容错：快照创建与恢复

Flink通过CheckPoint机制实现对Source中的数据和Task中的State数据进行存储。 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink系列：State Backend（状态后端）
NIO4444
04-17 606
定义 状态的存储、访问、维护，由一个可插入的组件决定，这个组件就是状态后端（State Backend） 主要作用 本地的状态管理、检查点（checkpoint）状态写入远程存储。 env.setStateBackend(new FsStateBackend("hdfs://checkpoint-xxx/xxxx")) ; 3种类型 MemoryStateBackend FsStateBackend RocksDBStateBackend MemoryStateBack...
Flink系列：Savepoints使用方法（savepoint还原失败原因与方法）
NIO4444
04-17 1631
Flink系列：Savepoints使用方法 扩展 Flink系列：State Backend（状态后端）https://xdoctorx.blog.youkuaiyun.com/article/details/115792746 Flink系列：Savepoints与checkpoints区别https://xdoctorx.blog.youkuaiyun.com/article/details/106461649 Flink系列：Checkpoint使用方法https://xdoctorx.blog.cs...
Flink State 是处理有状态流计算的核心机制，其典型应用场景及具体说明
最新发布
10年老JAVA大数据技术人的专栏
03-14 1141
通过合理利用 Flink State，可以在实时数据处理中实现复杂的业务逻辑，同时保证高吞吐、低延迟和 Exactly-Once 语义。
flink 状态
王小工小工历程
06-04 1482
使用Flink的Stateful Functions API（如KeyedProcessFunction、ProcessFunction等）来定义和访问状态。通过getRuntimeContext().getState(…)或特定的状态描述符（如ValueStateDescriptor）来获取状态。Broadcast State用于保持所有子任务状态相同，确保当数据被广播到所有下游并行任务时，这些任务可以访问相同的状态数据。在这些任务中广播状态用于保持所有子任务状态相同。
详解 Flink 的状态管理
weixin_44480009的博客
06-09 2023
无状态的流处理：根据每一次当前输入的数据直接转换输出结果的过程，在处理中只需要观察每个输入的独立事件。例如， 将一个字符串类型的数据拆分开作为元组输出或将每个输入的数值加 1 后输出。Flink 中的基本转换算子 (map、filter、flatMap 等) 在计算时不依赖其他数据，所以都属于无状态的算子。有状态的流处理：根据每一次当前输入的数据和一些其他已处理的数据共同转换输出结果的过程，这些其他已处理的数据就称之为状态(state)，状态由任务维护，可以被任务的业务逻辑访问。
Flink状态妙用
GOOMHOOM的博客
08-10 819
Flink状态妙用 本文主要介绍福布湿在flink实时流处理中，state使用的一些经验和心得。本文默认围观的大神已经对flink有一定了解，如果围观过程中发现了有疑问的地方，欢迎在评论区留言。 1. 状态的类别 1.1 从数据角度看，flink中的状态分为2种： KeyedState 在按key分区的DataStream中，每个key拥有一个自己的state，换句话说，这个state能得到这个key所有的数据。 结合以上的描述，不难得出以下结论，KeyState只能在KeyedStream上使用。
Flink StateFunction：集成了Flink和FaaS的流处理优点
微信搜：import_bigdata，大数据领域硬核原创作者
10-13 987
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！近日，有状态函数（Statefu...
Flink系列：数据状态例子
NIO4444
03-25 528
目录 需求 实现 需求 实现了一个简单的计数窗口：我们把元组的第一个元素当作 key，该函数将出现的次数以及总和存储在 “ValueState” 中。 一旦出现次数达到 2，则将平均值发送到下游，并清除状态重新开始。 请注意，我们会为每个不同的 key（元组中第一个元素）保存一个单独的值。 实现 package nio4444.state; import org.apache.flink.api.common.functions.RichFlatMapFunction; imp..
Flink系列四：flink的状态管理
yiweiyi329的博客
01-03 1324
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
flink sql设置并行度_Flink状态管理详解：Keyed State和Operator List State深度解析
weixin_39595302的博客
11-30 653
Flink的状态管理机制详解 本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、Keyed State和Operator List State的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tutorials。图片文字均为原创，转载请联系本专栏。为什么要管理状态有状态的计算是流处理框架...
Flink笔记(二十)：Flink 之 State 状态介绍
01-07
1.State介绍    Flink 架构体系的一大特性是：有状态计算。 有状态计算：任务执行过程中，会存储计算过程中产生的中间结果，并提供后续的 Function 或 算子计算结果使用 状态：任务内部数据（计算数据和元数据属性）的快照。在计算过程中会进行持久化，保存有任务中间计算结果的数据。 2.State作用        1、实时任务每次计算，需要基于上一次计算结果，所以需要通过 State 将任务每次计算的中间结果进行持久化。        2、任务执行出现错误时，需要从成功的检查点（CheckPoint）中，根据 State 数据进行恢复        3、Flink 增量计算、Fa
Flink State实战，写入查询
csdn问鼎
06-22 524
State state是实现flink一次性语义的核心，在1.9之后增加了API来读取state 写State import org.apache.flink.api.common.state.ListState; import org.apache.flink.api.common.state.ListStateDescriptor; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.api.java.Da
flink的state方法
xuehuagongzi000的博客
10-31 374
1、默认是500Lms一次checkpoint,watermark周期性生成，默认是200ms 2、失败重启策略 3、如果连续两次温度差值超过10，则报警 package flinkSourse import akka.stream.TLSClientAuth.None import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.restartstra
字节跳动 Flink 状态查询实践与优化
字节跳动技术团队官方博客
07-12 2211
动手点关注干货不迷路????本篇文章介绍了字节跳动在 Flink 状态查询方面所进行的优化，解决了查询 Flink 任务状态时开发成本高及无法查询状态元信息等问题，提出了 State Query on Flink SQL 的解决方案，让用户使用 Flink Batch SQL 就可以快速查询 Flink 任务状态。背景众所周知，Flink 中的 State 保存了算子计算过程...
flink sql状态清理问题
ChengYanan的博客
08-12 3212
备注：本文摘抄与Flink社区邮件列表，是个典型问题，特此记录，Q为提问者，A为解答 Q: 在使用flink sql的过程中遇到如下情况，在配置了如下选项后： val config = tableConfig.getConfiguration() config.setString(“table.exec.mini-batch.enabled”, “true”) config.setString(“table.exec.mini-batch.allow-latency”, “5s”) config.setSt
Flink可查询状态Queryable State:替换你的数据库
javawins的专栏
01-28 1391
　2015年12月雅虎使用生产环境中的真实数据对Spark Streaming、Storm以及Flink等流系统计算引擎做了一项基准测试，并得到了以下的测试结果： 　　我们从上图可以清楚地看到，随着吞吐量的增大，Spark Streaming的延迟也越来越大；而Storm和Flink随着吞吐量的变化延迟波动不是很大。至于为什么这样本文就不详细介绍了。雅虎的流系统基准测试有个明显的问题，就是虽然使...
Flink 的state管理(1) -Flink SQL的状态清理
weixin_38813363的博客
03-16 4004
Flink 的状态管理Flink SQL实现状态清理 Flink SQL实现状态清理 背景：分组处理产生的结果会作为中间状态存储下来，随着分组key的不断增加，状态自然也就会不断膨胀。但是这些状态数据基本都具有时效性，不必永久保留。例如：topN语法进行去重，重复的数据一般都位于特定的区间内(例如1小时或者1天)，过了这段时间之后，对应的状态就不需要了。随着时间的增长以及key的增加，面临超出存储的风险越来越大。在一些continuous queries的情况下，不得不去限制state的大小。是否去限制s
Flink SQL空闲状态保留时间（idle state retention time）实现原理
LittleMagic's Blog
01-06 5778
前言 如果要列举Flink SQL新手有可能犯的错误，笔者认为其中之一就是忘记设置空闲状态保留时间导致状态爆炸。2021年的第一篇技术文，时间很紧张，聊聊这个简单的话题吧。 为什么要设置 如果我们在数据流上进行分组查询，分组处理产生的结果(不仅仅是聚合结果)会作为中间状态存储下来。随着分组key的不断增加，状态自然也会不断膨胀。但是这些状态数据基本都有时效性，不必永久保留。例如，使用Top-N语法...
Flink官方文档笔记04 从Stateful Functions角度看看Flink
大数据流浪法师的学习笔记与分享
07-23 1912
文章目录Stateful Functions — Event-driven Applications on Apache Flink®Stateful Functions Applications Stateful Functions — Event-driven Applications on Apache Flink® StatefulFunctions 状态函数-运行在Flink上的事件驱动APP Stateful Functions is an API that simplifies buildin
Apache Flink详解：从基础到高级概念
Flink的核心概念包括Event Streams、State、（Event）Time和Snapshots，其中Event Streams代表事件流，State用于处理有状态计算，（Event）Time解决数据乱序的一致性问题，Snapshots则确保数据一致性和故障恢复。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值