Flink State 笔记帖

原创 已于 2023-04-19 10:19:28 修改 · 212 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

于 2023-04-19 10:19:14 首次发布
文章介绍了Flink中的状态处理，包括OperatorState和KeyedState，如ValueState、ListState、MapState、ReducingState和AggregatingState。同时阐述了不同类型的StateBackend，如HashMapStateBackend适合中小数据量，EmbeddedRocksDBStateBackend适用于大数据量并支持对象重用。此外，还提及了CheckpointStorage的jobmanager和filesystem两种策略。

1 State 分类

Operator State

主要用在Source、Sink等没有key分布的位置。

 
 

Keyed State

用在keyBy后的KeyedStream里，每个存储状态与一个key想关联。

ValueState

ListState

MapState

ReducingState

AggeratingState 

2 State Backend

StateBackend分类

HashMapStateBackend

数据保存在内存中，适合中小数据量的state存储，Object 不可重用；

EmbeddedRocksDBStateBackend

数据保存在当地文件系统中，适合大量数据的state存储，Object可以重用。

CheckpointStorage分类

jobmanager

checkpoint 保存在jobmanager的内存中；

filesystem

checkpoint 保存在分布式文件系统中。

参考：

Stateful Stream Processing | Apache Flink

Working with State | Apache Flink

State Backends | Apache Flink

Flink 之 State - 简书

Checkpoint的核心流程（37） - 墨天轮

走向自由
关注
Flink 高分笔记
SmartSi
06-22 1342
这篇博客文章总结了Flink流计算相关的基础知识和实践指南。主要内容包括：1) 流计算基础概念，如事件时间、Watermark机制、Exactly-once语义；2) Flink基础操作，如安装部署、程序结构、并发设置、故障恢复；3) DataStream API核心功能，包括时间概念、窗口计算、状态管理、双流Join等；4) Table API与SQL的使用方法和工作原理。文章提供了丰富的技术文档链接，涵盖了Flink从入门到进阶的各个方面，既有理论讲解也有实践案例，是一个系统的Flink学习资源合集。
Flink基础学习笔记（三）State
weixin_37172178的博客
12-04 210
State：一般指一个具体的task/operator的状态。KeyedState。state是task级别的state，说白了就是每个task对应一个state，上图就是一个OperatorState，keyedstate记录的是每个key的状态，相比OperatorState用Key作为区分，OperatorState工作中相对少用。原始状态(raw state)和托管状态(managed state)。托管状态：由Flink框架管理的状态，我们通常使用的就是这种。原始状态。
Flink学习笔记（一）：Flink重要概念和原理
u011047968的专栏
10-07 3459
Apache Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可以在所有常见的集群环境中运行，以内存速度和任何规模执行计算。本示例以 1.12 版本进行介绍，当前版本更新至 1.17。Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。
Flink学习笔记
Cai_cai_1的博客
03-09 974
Flink 笔记记录
Flink学习笔记（十一）：flink KeyedState运用
小白的专栏
12-24 1455
在前面的Flink学习笔记（八）：flink热词统计中介绍了 sum算子进行数据统计，那么有没有别的方法实现呢。本篇记录下另一种实现方式，采用state状态进行统计计算。 前文以及介绍了背景，这直接上代码 获取数据流，随机模拟搜索的水果 统计结构：Tuple2<String, Integer> 水果名称，搜索次数 通过 keyBy(0) 聚合相同名称的水果 通过ValueState保存中间状态，进行数据累计 public class TestKeyedState { private st
Flink学习笔记（四）State管理与恢复
zhang09090606的博客
03-24 1262
Flink中CheckPoin（检查点）t是Flink实现容错机制的核心功能，它可以在任务执行过程中定期保存任务的状态信息，以便在任务出现故障或程序异常终止时，能够使用最近一次的检查点进行恢复，从而保证数据的一致性和可靠性。Checkpoint的实现方式可以是在内存中创建一个快照，也可以将快照保存到外部存储系统中。Checkpoint的使用可以大大减少任务执行过程中数据的丢失和重复处理，提高任务的可靠性和稳定性。
Flink 的学习笔记
weixin_45866849的博客
07-19 1883
​Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink是做Batch计算的，但是在2014年，StratoSphere里面的核心成员孵化出Flink，同年将Flink捐赠Apache，并在后来成为Apache的顶级大数据项目，同时Flink计算的主流方向被定位为Streaming，即用六十计算来做所有大数据的计算，这就是Flink技术诞生的背景。...
Flink学习笔记（十二）：Flink State生命周期 - Time-To-Live (TTL)
小白的专栏
12-29 2609
在前面的 Flink学习笔记（十一）：flink KeyedState运用介绍了如何使用state进行sum操作。但是数据流通常是长时间运行，那么存在的状态将越来越多，如何解决这个问题呢？ 1、Flink State Time-To-Live (TTL) Flink提供了StateTtlConfig机制进行处理。首先我们看下提供的策略类型： TTL 刷新策略（默认OnCreateAndWrite） 策略类型 描述 StateTtlConfig.UpdateType.Disabled 禁用
Flink CDC学习笔记
ZLin的博客
08-26 1624
​ CDC (Change Data Capture 变更数据获取）的简称。核心思想就是，检测并获取数据库的变动（增删查改），将这些变更按发生的顺序记录下来，写入到消息中间件以供其它服务进行订阅及消费。自定义序列化器 CustomDeserializationSchemaimport com/**// before数据 result . put("before" , getData("before" , value));
精选资源
Flink笔记(二十)：Flink 之 State 状态介绍
01-07
1.State介绍  Flink 架构体系的一大特性是：有状态计算。 有状态计算：任务执行过程中，会存储计算过程中产生的中间结果，并提供后续的 Function 或 算子计算结果使用 状态：任务内部数据（计算数据和元数据属性）...
精选资源
Flink笔记(二十二)：Flink 之 KeyedState 的使用
01-07
 不使用 Flink 提供的 sum() 方法，使用 KeyedState 完成对单词分组求和计算操作。 代码： /** * TODO 不使用 Flink 提供的sum()方法，对单词进行分组求和计算。 * * @author liuzebiao * @Date 2020-2-17 11:...
Flink CDC 生产环境监控与告警处理完整指南
探索云原生与智能化驱动下的安全运维新范式。关注DevSecOps、可观测性、AIOps等前沿领域，与您共赴技术前沿。
12-10 182
监控指标P1 阈值P0 阈值覆盖场景CDC 延迟5 分钟30 分钟所有数据处理问题重启次数30 次/5分钟应用稳定性内存使用85%资源问题Checkpoint 失败3 次状态管理问题Checkpoint 耗时60 秒性能问题背压500ms吞吐量问题监控黄金指标：CDC 延迟是最重要的监控指标分级告警：P1 预警 + P0 严重，避免告警疲劳避免误报：使用和多评估周期快速诊断：建立标准化的排查流程文档化：记录所有问题和解决方案定期演练：每月进行故障演练。
Flink SQL Window Top-N窗口榜单的正确打开方式
hello.reader
12-13 1133
本文介绍了Flink SQL中的Window Top-N功能，重点说明其核心概念、语法规范和使用场景。Window Top-N用于在每个窗口内筛选N个最大/最小值，相比连续Top-N性能更优。文章详细讲解了必须包含window_start和window_end字段等前置条件，提供了标准SQL模板和两个典型示例（窗口聚合后Top-N和直接窗口Top-N）。同时指出了当前限制，如不支持Batch模式下的SESSION窗口，并给出工程化建议，包括主键设计和性能调优参数。这些内容为开发者正确使用Window Top
十一、Flink基础环境实战
最新发布
pale_moonlight的博客
12-15 240
实验结束。
Flink SQL 集合运算UNION / INTERSECT / EXCEPT 以及 IN / EXISTS 在流式场景下怎么用？
hello.reader
12-10 614
本文介绍了Flink SQL中的集合运算操作(UNION/INTERSECT/EXCEPT)和存在性判断(IN/EXISTS)在流处理场景下的应用。重点分析了这些操作在流式计算中的状态管理问题：UNION ALL适合流合并但UNION可能导致状态膨胀；INTERSECT/EXCEPT需要维护历史状态；IN/EXISTS会被重写为Join操作。文章建议在流处理中优先使用UNION ALL，为交集差集操作添加时间维度，将IN/EXISTS转化为明确的Join，并合理配置状态TTL来控制资源消耗。最后强调流处理中
Flink学习笔记：状态类型和应用
K_Ohaha的博客
12-09 630
Flink的容错机制和状态管理是其核心优势之一。文章首先区分了无状态和有状态计算，重点介绍了Flink的两种状态类型：Raw State（需开发者自行管理）和Managed State（由Flink Runtime管理）。Managed State又分为Keyed State（基于键值对）和Operator State（绑定到算子实例），详细说明了ValueState、ListState等具体状态类型的使用方法。
Flink对于迟到数据的处理
huanfeng_AI的博客
12-09 97
Flink作为一个流式处理框架，最重要的就是要处理好迟到的数据，保证数据的准确性，本文就来系统学习一下FLink框架针对于迟到数据的处理。
Flink学习笔记：如何做容错
K_Ohaha的博客
12-10 1030
本文我们介绍了 Flink 是如何做容错的，分别介绍了 Checkpoint 和 Savepoint，以及它们之间的区别。本文多次提到了 Checkpoint 和 Savepoint 依赖的稳定存储，我会在下一篇文章进行详细的介绍。
Flink学习笔记：反压
K_Ohaha的博客
12-12 644
本文介绍了Flink中的反压机制及其监控方法。反压是流式系统中下游对上游的数据处理反馈机制，当上游生产速度超过下游消费速度时触发。Flink数据传输分三种情况：同线程直接共享内存、本地跨线程通过Buffer交互、远程跨节点通过网络传输。反压监控通过Web UI显示状态(OK/LOW/HIGH)，分别对应不同的反压程度。文章详细分析了本地和远程场景下反压的感知原理，为Flink运维提供了重要参考。
尚硅谷Flink学习笔记深度解析
标题和描述中提到的是“尚硅谷，flink 笔记.zip”，其中尚硅谷可能指的是提供该笔记资料的教育机构或培训品牌，而“flink”是文件内容的核心知识点，即Apache Flink的相关资料。Apache Flink是一个开源的流处理框架...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值