Flink State TTL 详解

最新推荐文章于 2024-10-28 10:33:27 发布
最新推荐文章于 2024-10-28 10:33:27 发布
阅读量3.3k 收藏 1
点赞数 2
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SunnyYoona/article/details/123221583
版权
本文详细介绍了Apache Flink 1.13版本新增的State TTL特性，用于自动清理Keyed状态在一段时间未被使用后的过期状态。内容包括State TTL的用法、参数说明，如过期时间、时间处理语义、更新类型和状态可见性，并详细阐述了三种过期清理策略：全量快照清理、增量清理和RocksDB压缩清理策略，以及注意事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink 1.13 版本

在某些场景下 Flink 用户状态一直在无限增长，一些用例需要能够自动清理旧的状态。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句。此外，目前开发人员需要自己完成 TTL 的临时实现，例如使用可能不节省存储空间的计时器服务。还有一个比较重要的点是一些法律法规也要求必须在有限时间内访问数据。

对于这些情况，旧版本的 Flink 并不能很好解决，因此 Apache Flink 1.6.0 版本引入了状态 TTL 特性。该特性可以让 Keyed 状态在一定时间内没有被使用下自动过期。如果配置了 TTL 并且状态已过期，那么会尽最大努力来清理过期状态。

1. 用法

可以在 Flink 官方文档中看到 State TTL 如下使用方式：

import org.apache
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink 系统性学习笔记
SmartSi
07-31 1906
Flink 学习笔记
【Flink】Flink state 状态生存时间（TTL）
九师兄
07-01 845
一个时间的生存期（TTL）可以被分配给任何类型的被Keys化状态。如果配置了TTL并且状态值已过期，则将尽力清除存储的值，这将在下面更详细地讨论。 所有状态集合类型都支持每个条目的TTL。这意味着列表数据元和映射条目将独立过期。 为了使用状态TTL，必须首先构建StateTtlConfig配置对象。然后，可以通过传递配置在任何状态描述符中启用TTL函数： import org.apache.flink.api.common.state.StateTtlConfig; import org.apache.f.
Flink(五) State Time-To-Live(TTL)
又小雨的博客
08-16 885
一、简介 State Time-To-Live(TTL) Flink中状态的存活时间。 在开发Flink应用时，对于许多有状态流应用程序的一个常见要求是自动清理应用程序状态，以有效管理状态大小。或控制应用程序状态的访问时间。从 Flink 1.6 版本开始，社区为状态引入了TTL（time-to-live，生存时间）机制，支持Keyed State 的自动过期，有效解决了状态数据在无干预情况下无限增长导致 OOM 的问题。 1.1 为啥要清理状态 状态也是数据，数据就会占用空间，那Flink是做大数据的，
Flink 的state管理(2) -Flink State的TTL
weixin_38813363的博客
03-16 1051
Flink state 的 TTL 概述：flink进行实时计算中，会遇到一些状态不断累积，导致状态越来越大的情况。例如：作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的Group By语句，以及执行了没有时间窗口限制的双流join等操作。对于这些情况，经常导致堆内存出现OOM，或者堆外内存RocksDB用量持续增长超出容器配额的上线，造成作业频繁的崩溃。从Flink 1.6版本开始引入State TTL机制，该特性可以允许作业中定义的keyed状态进行超时自动处理，对于TableAPI和SQL
Flink1.8.0重大更新-Flink中State的自动清除详解
微信搜：import_bigdata，大数据领域硬核原创作者
05-26 5096
导读：基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持，显著改进了...
flink state ttl
07-06 370
flink ttl类型 一般来说ttl用在keyedStream中，官网只介绍了keyed flink ttl用法 import org.apache.flink.api.common.state.StateTtlConfig; import org.apache.flink.api.common.state.ValueStateDescriptor; import org.apache.flink.api.common.time.Time; StateTtlConfig ttlConfig = Stat
Flink TTL
wang_ze_ma的博客
08-03 2166
什么是TTL? ​ 我们都知道，状态是不断累积的，占用的空间也就不断增大，对于作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句，以及执行了没有时间窗口限制的双流 JOIN 等等操作，就容易出现OOM ​ 如何解决？ ​ Flink引入了TTL特性，作用就是对作业中的state进行清理，并设置了好几种清理模式 如何使用？ 官网示例 import org.apache.flink.api.common.state.StateTtlConfig; import org.apach
flink state原理，TTL，状态后端，数据倾斜一文全
Direction_Wind的博客
02-20 1800
UnionListState 的快照存储数据，在系统重启后，list 数据的重分配模式为： 广播模式；在每个 subtask 上都拥有一份完整的数据；ListState 的快照存储数据，系统重启后，list 数据的重分配模式为： round-robin 轮询平均分配。
Flink入门(十一) state状态update更新
baifanwudi的专栏
05-23 6122
有这样需求，统计每个小时，一个线路被点击次数， 需要每30秒统计一次写入redis，采用Slide窗口滑动，但发现一个问题，当key没有新的消息消费， 当（key，value）的value不变的，滑动统计还是会输出统计值，这个key的value就没必须要写入redis。 所以采用ValueState的update更新， 代码如下： DataStream<Tuple2<S...
flink1.14 sql基础语法（一） flink sql表查询详解
segegefe的博客
09-09 2040
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Flink中的双流Join详解
LBJ_小松鼠的博客
08-05 5571
1-Flink中双流Join介绍 注意:双流Join是Flink面试的高频问题 Join大体分类只有两种：Window Join和Interval Join。 Window Join又可以根据Window的类型细分出3种： Tumbling Window Join、Sliding Window Join、Session Widnow Join。 Windows类型的join都是利用window的机制，先将数据缓存在Window State中，当窗口触发计算时，执行join操作； interval joi
Flink中的State TTL(Time-To-Live)功能是什么，它有什么用处？
qq_33240556的博客
10-28 502
State TTL 功能是 Flink 中用于管理状态有效期的一项重要特性。通过合理设置状态的有效期，可以有效地管理内存使用，提高系统的健壮性和效率。在实际应用中，可以根据具体的需求来配置 State TTL，以满足不同的场景需求。
flink原理（一） 状态的TTL管理、容错机制
qq_44665283的博客
07-22 2457
flink原理（一） 状态的TTL管理、容错机制
FlinkSql hint之状态生命周期 state_ttl
weixin_51981189的博客
02-27 1465
（Time-To-Live，生存时间）是一个用于管理状态数据生命周期的机制。在 Flink 流处理中，状态是一个重要的概念，它允许跨时间窗口或事件时间处理的状态化操作。然而，随着时间的推移，这些状态数据可能会变得不再相关或过时。允许你为状态设置一个生存时间。一旦状态数据的生存时间超过了指定的 TTL 值，Flink 就会自动清理这些状态。这有助于减少不必要的状态数据占用，提高系统的稳定性和性能。，意味着任何状态数据的生存时间超过 3 小时后都会被自动清理。，该方式能够使得在上述状态算子中使用与作业级别。
Flink系列之：State Time-To-Live (TTL)
zhengzaifeidelushang的博客
12-17 743
定期压缩可以加快过期状态条目的清理速度，特别是对于很少访问的状态条目。您可以将其设置为 0 以关闭定期压缩，或设置一个较小的值以加速过期状态条目清理，但它会触发更多压缩。在 NeverReturnExpired 的情况下，过期状态的行为就好像它不再存在一样，即使它仍然需要被删除。默认情况下，过期值会在读取时显式删除，例如 ValueState#value，并在配置的状态后端支持的情况下定期在后台进行垃圾收集。在当前实现下，本地状态不会被清除，但在从以前的快照恢复时，它不会包括删除的过期状态。
详解 Flink 状态管理
qq_24095055的博客
04-29 1398
文章目录1.前言2.状态是什么东西？有了状态能做什么？3.为什么离线计算中不提状态，实时计算老是提到状态这个概念？状态到底在实时计算中解决了什么问题？3.1 离线任务真的是没有状态、状态管理这些个概念这个概念嘛？3.2 实时任务真的只能依赖状态、状态管理嘛？4.有了状态、为什么又出现了状态管理的概念？5.怎么学习 Flink 中的状态、状态管理相关的概念呢？6.Flink 中状态的分类？7.Flink 中状态的使用方式？8.Flink 状态后端的分类及使用建议？9.Flink 中状态的能力扩展 - TTL？
【FLink-14-Flink 状态State的TTL管理&Flink状态后端】
weixin_38136584的博客
01-28 1398
FLink-14-Flink 状态State的TTL管理
Flink实例：状态管理State 过期时间TTL
lbg20211023的博客
08-29 3437
一旦设置了 TTL，那么如果上次访问的时间戳 + TTL 超过了当前时间，则表明状态过期了（这是一个简化的说法，严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现）。对于 RocksDB 的状态清理，则是通过 JNI 来调用 C++ 语言编写的 FlinkCompactionFilter 来实现，底层是通过 RocksDB 提供的后台 Compaction 操作来实现对失效状态过滤的。如果启用，则每次状态访问都将触发它。..
简析Flink状态生存时间（State TTL）机制的底层实现
LittleMagic's Blog
05-12 6784
前言 很久没写过源码走读类型的文章了。最近在做业务需求时用Flink的State TTL非常多，今天就来探索一下吧。 从Flink 1.6版本开始，社区为状态引入了TTL（time-to-live，生存时间）机制，支持Keyed State的自动过期，有效解决了状态数据在无干预情况下无限增长导致OOM的问题。State TTL的用法很简单，官方文档中给出的示例代码如下。 StateTtlConfi...
flink sql UNION ALL
最新发布
05-07
</think>### Flink SQL UNION ALL 用法详解 #### 一、基础语法与功能 `UNION ALL` 用于合并多个 `SELECT` 语句的结果集，**保留所有重复行**。其语法要求： 1. 所有 `SELECT` 语句的列数必须相同； 2. 对应列的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@SmartSi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值