Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

最新推荐文章于 2024-09-24 19:57:00 发布
原创 最新推荐文章于 2024-09-24 19:57:00 发布 · 1.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#blink #flink #大数据 #实时大数据 #sql

本文深入探讨Flink/Blink的有状态计算机制，包括State存储实现（HeapStateBackend、FsStateBackend、RocksDBStateBackend、NiagaraStateBackend）和分类（OperatorState、KeyedState）。讲解了状态一致性（at-most-once、at-least-once、exactly-once）以及端到端一致性，强调了Flink在保证一致性的前提下实现低延迟和高吞吐。

系列文章目录

Flink/Blink 原理漫谈（零）运行时的组件

Flink/Blink 原理漫谈（一）时间，watermark详解

Flink/Blink 原理漫谈（二）流表对偶性和distinct详解

Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

Flink/Blink 原理漫谈（四）window机制详解

Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解

Flink/Blink 原理漫谈（六）容错机制（fault tolerance）详解

文章目录

State

首先，blink是有状态计算的，State是流计算特有的，流计算在 大多数场景 下是增量计算，数据逐条处理（大多数场景)，每次计算是在上一次计算结果之上进行处理的，这样的机制势必要将上一次的计算结果进行存储（生产模式要持久化），另外由于 机器，网络，脏数据等原因导致的程序错误，在重启job时候需要从成功的检查点(checkpoint，后面篇章会专门介绍)进行state的恢复。增量计算，Failover这些机制都需要state的支撑。
除此外，状态也可以理解为是一个本地变量，可以被业务逻辑所访问。

State存储实现

Blink内部有四种state的存储实现，具体如下：
• 基于内存的HeapStateBackend - 在debug模式使用，不 建议在生产模式下应用；
• 基于HDFS的FsStateBackend - 分布式文件持久化，每次读写都产生网络IO，整体性能不佳；checkpoint存在远程的持久化文件系统上，本地状态存在taskmanager的JVM堆上。
• 基于RocksDB的RocksDBStateBackend - 本地文件+异步HDFS持久化，blink-1.x版本生产应用；将所有状态序列化，存入RocksDB中
• 还有一个是基于Niagara(blink2.x)NiagaraStateBackend - 分布式持久化，blink-2.x版本生产应用；
Blink-1.x版本选择用RocksDB+HDFS的方式进行State的存储，State存储分两个阶段，首先本地存储到RocksDB，然后异步的同步到远程的HDFS。 这样的而设计既消除了HeapStateBackend的局限（内存大小，机器坏掉丢失等），也减少了纯分布式存储的网络IO开销。

最低0.47元/天 解锁文章
95-240-040-原理-State-简介
九师兄
07-01 631
1.视界 2. 概述 ​ Flink 支持有状态的操作和用户方法。例如，窗口操作使用状态维护不断追加的聚合数据，sink 操作使用状态保证一致性提供 exactly-once 语义。 ​ 大多数流应用是有状态的。很多operators会不断的访问并更新某中状态，例如一个window中收集了多少条记录，输入源中当前读到的位置，亦或是用户定义的特定operators的状态。无论是内置的operator还是用户定义的operators，Flink对待它们都是一致的。在这章我们会讨论Flink 支持的不同的状态类
Flink 状态计算
water drop的博客
03-15 2105
Flink 状态计算 一、概述 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.html Flink是⼀个基于状态计算的流计算服务。Flink将所有的状态分为两⼤类: keyed state与 operatorstate.所谓的keyed state指的是Flink底层会给每⼀个...
java常用设计模式之状态模式
xuedongabc的专栏
08-29 214
------------------------------ 状态模式(state) -------------------------------(1)State模式定义：不同的状态,不同的行为; 或者说,每个状态有着相应的行为.适用场合：State模式在实际使用中比较多,适合"状态的切换".因为我们经常会使用If elseif else 进行状态切换, 如果针对状态的这样判断切换反复出现,我...
在React中深入理解状态（State）及状态更新机制
一个做过前端开发的产品经理，经历过睿智产品的折磨导致脱发之后，励志要翻身"农奴"把歌唱，一边打入敌人内部一边持续提升自己，为我们广大开发同胞谋福祉，坚决抵制睿智产品折磨我们码农兄弟！
07-09 1965
状态（State）是React组件的一部分，用于存储组件的局部变量，这些变量可以影响组件的渲染输出。状态可以是任何类型的JavaScript值，包括但不限于数字、字符串、数组和对象。
Flink中基于State的有状态计算开发方法
Deepexi_Date的博客
03-16 2584
文：王东阳 前言 状态在Flink中叫作State，用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果，分为无状态计算和有状态计算。对于流计算而言，事件持续不断地产生，如果每次计算都是相互独立的，不依赖于上下游的事件，则是无状态计算。如果计算需要依赖于之前或者后续的事件，则是有状态计算。 在Flink中根据数据集是否根据Key进行分区，将状态分为Keyed State和Operator State（Non-keyed State）两种类型 ，本文主要介绍Keyed State，后续文章会介绍Oper
Flink/Blink 原理漫谈（四）window机制详解
Foools的博客
02-02 1241
系列文章目录 文章目录系列文章目录window机制Group by windowTumbling window 滑动窗口Hop window 滑动窗口Session window 会话窗口OVER WINDOWROWS OVER WindowRange over window window机制 Blink-1.x版本的window内容 有一些比较基本的group by概念我觉得不需要陈述了，主要需要介绍的是两个类型：group by window和over window。 Group by windo
Flink/Blink 原理漫谈（一）时间，watermark详解
Foools的博客
02-02 1554
系列文章目录 文章目录系列文章目录一、 时间二、 watermark概念一个例子多流watermarks处理总结 一、 时间 一共有三种时间：event time，ingestion time，processing time Event time：事件发生的时间 Ingestion time：数据进入flink的时间 Processing time：执行操作算子的本地系统时间 Watermark就是基于Event Time产生的，Blink系统正是利用Event Time和Watermark机制处理
Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解
Foools的博客
02-02 1457
系列文章目录 文章目录系列文章目录持续查询静态查询和动态查询的关系持续查询的实现增量计算：APPEND ONLY场景UPDATE 场景无PK的Append Only 场景有PK的Update 场景Blink store双流join中遇到的append only的问题Blink Sink 持续查询 静态查询和动态查询的关系 传统数据库表我们这里叫Static table，是指在查询的那一刻数据库表的内容不再变化了，查询进行一次计算完成之后表的变化也与本次查询无关了，我们将在Static Table 上面
记使用flink1.11.3 org/apache/flink/api/common/state/CheckpointListener
biuubi的博客
11-11 2920
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/api/common/state/CheckpointListener 使用的mysql-cdc的依赖版本太高了，降低版本就好了，真烦死了 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins
Flink输出端保证之幂等写入和事务写入
weixin_43816721的博客
05-23 818
flink的输出端保证之幂等写入方式和事务写入
有状态计算和无状态计算
weixin_59295776的博客
11-30 1074
什么是有状态计算，什么是无状态计算？在数据的流处理中他们的区别是什么？ 一般来说就是计算分为无状态和有状态两种情况。 无状态计算会观察每个独立的事件，并且会在最后一个时间出结果，例如一些报警和监控，一直观察每个事件，当触发警报的事件来临就会触发警告。 有状态的计算就会基于多个事件来输出结果，比如说计算过去一个小时的平均温度等等。 ...
Blink/Flink作业 性能优化配置及原理
Foools的博客
02-03 2572
高性能作业指南 本文通过代码和一些配置信息来优化blink/flink作业的性能。 共分为几部分： 1．group aggregate优化： 开启minibatch，开启localglobal，开启partialfinal，count distinct改写为agg with filter（count distinct优化） 2．topN优化 使用UpdateFastRank算法：order by sum(正数) desc 时，要加上正数的过滤条件；topN输出不带rownum，输出时再排序一次；增大topN
Apache Flink 漫谈系列(04) - State
hellojoy的博客
07-17 356
http://zhuanlan.51cto.com/art/201810/585018.htm 本篇简单介绍了Apache Flink中State的概念，并重点介绍了OperatorState和KeyedState在扩容时候的处理方式。 实际问题 在流计算场景中，数据会源源不断的流入Apache Flink系统，每条数据进入Apache Flink系统都会触发计算。如果我们想进行一个C...
flink中 有状态计算（statefu）和无状态计算（stateless）的区别
Foools的博客
01-02 2263
一、有状态计算，无状态计算 apache flink来说，是支持有状态计算的。 无状态计算可以类比一下select操作，来一条，操作一条，数据不用留在系统里面。 有状态计算可以类比一下count，sum操作，这时候就需要缓存之前的数据，才可以实现，这样的计算就是有状态的。 ...
Flink的四大基石之---Flink State状态计算详解
LBJ_小松鼠的博客
03-09 960
1- 什么是Flink State状态计算 简介: Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 1）、窗口Window和时间Time（事件时间） 2）、状态State和检查点Checkpoint 状态计算：流式计算中，从数据源，到数据转换，最后数据终端，都会对State状态进行关联。 无状态计算: 有状态（State）计算: 2- Flink State 状态组织形式划分 官网文档：https://ci.apache.org/
flink的状态计算特性
inori1256的博客
09-24 388
在Flink中，状态是一批有状态的流处理过程中，根据当前输入数据和已处理数据共同转换输出结果的中间数据。它通过维护和利用状态信息来处理流数据，允许开发者专注于业务逻辑的实现，而Flink则负责处理状态的存储、访问、故障恢复等底层细节，从而提高了系统的可扩展性和容错性。Flink提供了一套完整的状态管理机制，包括状态一致性、高效存储和访问、持久化保存、故障恢复以及资源扩展时的状态调整，开发者通常无需过多关注这些底层细节。Flink的状态可以分为托管状态和原始状态。托管状态进一步细分为算子状态和键控状态。
理解stateful computation有状态计算
漫步量化
03-29 419
Overview Streaming computation can be either stateless or stateful. A stateless program looks at each individual event and creates some output based on that last event; A stateful program creates output based on multiple events taken together. stateful 用..
Flink使用指南：状态计算完全搞懂了，你就是大佬！
徐腾瑞的博客
07-05 2660
系列文章目录 Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 目录 系列文章目录 前言 一、Checkpoint机制 如何开启Checkpoint 二、Keyed State 和 Operator State 原始状态和托管状态 如何使用Managed Keyed State 状态的生命周期（TTL）.
站在源码的角度探究React中的状态state
Amelian的博客
11-13 1746
1.类组件中的state setState的用法 React项目中UI改变来源于state的改变，类组件中setState是更新组件，渲染视图的主要方式 基本用法
NuttX中如何通过`flink/blink`实现优先级继承机制？
最新发布
08-27
<think>我们正在讨论NuttX中TCB的flink和blink指针如何用于实现优先级继承机制。优先级继承是一种解决优先级反转问题的技术，当高优先级任务因低优先级任务持有共享资源而阻塞时，临时提升低优先级任务的优先级至与高优先级任务相同，使其尽快执行并释放资源。 在NuttX中，优先级继承机制（Priority Inheritance）主要通过互斥锁（mutex）实现。当任务尝试获取已被持有的互斥锁时，如果持有者优先级低于当前任务，系统会提升持有者优先级以避免优先级反转。而flink和blink指针作为双向链表的连接件，在就绪任务队列中用于快速调整任务的位置（因为就绪队列是按优先级排序的）。 具体实现步骤： 1. **检测优先级反转**：当高优先级任务（H）尝试获取低优先级任务（L）持有的互斥锁时，内核发现L的优先级低于H。 2. **提升持有者优先级**：系统临时将L的优先级提升到与H相同（或略低，具体取决于策略）。 3. **调整就绪队列**：由于L的优先级提升，需要将其在就绪队列中的位置前移（因为就绪队列是按优先级从高到低排序的双向链表）。这里就用到`flink`和`blink`指针： - 将L从当前链表中移除（通过修改相邻节点的`flink`和`blink`指针） - 根据新优先级将L插入到就绪队列的合适位置（同样通过调整链表指针） 4. **任务调度**：调度器下一次调度时，由于L的优先级已提升，会优先执行L，使其尽快释放互斥锁。 5. **恢复原优先级**：当L释放互斥锁后，系统将其优先级恢复为原值，并调整其在就绪队列中的位置。 关键代码逻辑（以互斥锁获取为例）： ```c // 当任务H尝试获取已被L持有的互斥锁时 if (H->priority > L->priority) { // 提升L的优先级至H的优先级 nxsched_set_priority(L, H->priority); // 调整L在就绪队列中的位置（使用flink/blink指针） sched_remove_readytorun(L); // 从原位置移除 sched_add_readytorun(L); // 按新优先级插入 } ``` 在调整链表位置时，`sched_remove_readytorun`和`sched_add_readytorun`函数内部会操作`flink`和`blink`指针，实现$O(1)$复杂度的链表节点删除和插入。例如： ```c void sched_remove_readytorun(FAR struct tcb_s *tcb) { // 获取前驱和后继 FAR struct tcb_s *prev = tcb->blink; FAR struct tcb_s *next = tcb->flink; // 更新前驱的后继指针 if (prev != NULL) { prev->flink = next; } // 更新后继的前驱指针 if (next != NULL) { next->blink = prev; } } ``` **总结**：`flink`和`blink`指针在优先级继承中的作用是**动态调整任务在就绪队列中的位置**，确保因优先级提升而需要提前执行的任务能被快速调度。这种机制有效缓解了优先级反转问题，提高了系统的实时性。</think>### NuttX中如何利用`flink/blink`实现优先级继承机制 在NuttX中，`flink`和`blink`指针通过**动态调整任务在就绪队列中的位置**来实现优先级继承机制。该机制主要用于解决优先级反转问题，具体实现过程如下： #### 1. **优先级继承触发条件** 当高优先级任务（$T_{high}$）因等待低优先级任务（$T_{low}$）持有的资源（如互斥锁）而阻塞时，系统触发优先级继承： ```c /* 互斥锁获取函数片段 */ if (mutex->holder && mutex->holder->sched_priority < current->sched_priority) { nxsched_priority_inherit(mutex->holder, current->sched_priority); // 触发继承[^1] } ``` #### 2. **优先级提升的核心操作** 通过`flink/blink`动态调整任务在就绪队列中的位置： ```mermaid graph LR A[检测优先级反转] --> B{提升持有者优先级} B --> C[从就绪队列移除T_low] C --> D[按新优先级插入队列] D --> E[更新调度指针] ``` 具体实现步骤： 1. **移除原优先级位置** 通过`flink/blink`将$T_{low}$从当前队列位置移除： ```c void sched_remove_readytorun(FAR struct tcb_s *tcb) { // 更新前驱节点的flink if (tcb->blink) tcb->blink->flink = tcb->flink; // 更新后继节点的blink if (tcb->flink) tcb->flink->blink = tcb->blink; } ``` 2. **插入新优先级位置** 使用优先级排序算法重新插入： ```c void sched_add_readytorun(FAR struct tcb_s *tcb) { // 遍历就绪队列(g_readytorun) FAR struct tcb_s *prev = NULL; FAR struct tcb_s *next = g_readytorun.head; // 按优先级查找插入点 while (next && next->sched_priority > tcb->sched_priority) { prev = next; next = next->flink; // 通过flink遍历 } // 更新flink/blink指针 tcb->flink = next; tcb->blink = prev; if (next) next->blink = tcb; if (prev) prev->flink = tcb; } ``` #### 3. **调度器行为变化** 优先级提升后： 1. 就绪队列头部`g_readytorun.head`指向$T_{low}$（因其临时拥有最高优先级） 2. 调度器通过`flink`遍历时优先执行$T_{low}$： ```c FAR struct tcb_s *next = g_readytorun.head; // 获取最高优先级任务 while (next->flink && !ready_to_run(next)) { // 通过flink遍历 next = next->flink; } up_switchcontext(current, next); // 切换到继承优先级的任务 ``` #### 4. **优先级恢复机制** 当$T_{low}$释放资源后： 1. 通过`flink/blink`将其移出当前队列位置 2. 按原始优先级重新插入队列 3. 恢复$T_{high}$到就绪队列头部 #### 设计优势 1. **$O(1)$时间复杂度**：指针操作确保优先级调整高效完成 2. **无锁设计**：单核环境下通过开关中断保证原子性 3. **动态响应**：实时调整`g_readytorun.head`指向当前最高优先级任务 4. **资源优化**：复用TCB现有指针，无需额外存储 > 示例：当I²C驱动（HPWORK）持有资源时，其优先级可临时提升至与等待任务相同，确保实时性要求[^1]。 #### 总结 NuttX通过`flink/blink`实现： 1. **动态队列重组**：快速调整任务在双向链表中的位置 2. **优先级提升**：使资源持有者获得请求者的优先级 3. **实时调度**：确保高优先级任务最小化等待时间 4. **自动恢复**：资源释放后优先级自动回退 这种机制有效解决了嵌入式系统中的优先级反转问题，同时保持调度器的高效性（平均$O(1)$操作复杂度）。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值