flinksql 回撤流中主键发生变更的影响（group by中的值发生改变）

已于 2024-06-03 10:48:45 修改
阅读量772 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： flink技术原理 hologres 文章标签： flink 大数据 sql
于 2024-06-02 01:54:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Direction_Wind/article/details/139382497
本文探讨了Flink SQL在处理回撤流时主键变更的问题，分析了当上游数据包含回撤信息时，如何影响下游数据处理。在某些场景下，主键变更会导致数据更新错误，需要通过特定策略如行号标记来触发回撤。此外，文章还讨论了实时数仓架构中应对数据变化的策略，包括Holo的分字段更新和实时流与离线流的联合处理，并指出了各自的优缺点。

flinksql 回撤流中，主键发生变更的影响

1 什么是回撤流

这篇文章主要谈论一个场景，简单来说：
首先我们来简单的说一下什么是回撤流，以及回撤流的底层原理，举个例子：
在这里插入图片描述

这个说的不是很清晰 ，其实倒数第二个图当作输出 比较好看出来，再bank 这一条来之后，数据结果是
hello 1
world 1
bank 1
这个时候 又来了一条hello，刚刚已经下发的hello 1 这个结果就不对了，就需要降这条结果撤回，也就是撤回一条 hello 1 下发一条 hello 2。简单的说 这就是回撤流。

我们用最常见的 ，用的最多的kafka来举例回撤流 大家可能就明白了

  • 来了一条hello数据 下发一条
    [+I] hello 1
  • 又来了一条hello，上一条撤回
    [-U] hello 1
  • 下发一条
    [+U] hello 2

其实所谓的回撤，是下发了两条数据，告诉下游 上一条我废弃了，后面这条才是现在有效的，下游所有支持回撤流的存储引擎，就会做处理，最常见的就是mysql，对于mysql来说，就是发生了一次update，来完成了这次回撤流

2 主键变更场景

那么这里引申出一个新的场景，我们接受到的数据，在之前的假设中，都是新插入数据，每一条都是新数据对吧，那如果上游数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink实战--flinkSQL 回撤流原理解析与案例讲解
阿华田的博客
02-20 1万+
简介 使用flinkSQL处理实时数据当我们把表转化成流的时候，需要使用toAppendStream与toRetractStream这两个方法。稍不注意可能直接选择了toAppendStream。这个两个方法还是有很大区别的，下面具体介绍。 toAppendStream与toRetractStream的区别 追加模式：只有在动态Table仅通过INSERT更改修改时才能使用...
flink相关回撤流的信息
wppwpp1的专栏
04-11 761
1、回撤流的信息 \ 2、sql代码调试的情况 package architecture; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.bridge.java.StreamTableEnvironme..
Flink SQL中可撤回机制解密
张普的专栏
11-23 1713
点击上方蓝字关注~ 场景案例先从一个实际业务场景理解Flink SQL中的撤回机制：设备状态上线/下线数量统计，上游采集设备状态发送到Kafka中，最开始是一个上线状态，此时统计到上线数量+1，过了一段时间该设备下线了，收到的下线的状态，那么此时应该是上线数量-1，下线数量+1，现在需要实现这样一个需求，看一下在Flink SQL里面如何实现val env=StreamExecutio...
Flink SQL处理回撤流（Retract Stream）案例
猫猫爱吃小鱼粮
11-13 1971
Flink SQL处理回撤流（Retract Stream）案例
Flink回撤流
marui156的专栏
07-27 5483
Flink 的回撤流是指在 Flink 的流处理算法中，撤回已经发送到下游节点的数据。这是因为在实际应用场景中，有些错误数据可能会发送到下游节点，因此需要回撤流以保证数据的准确性。回撤流可以理解为流式场景下对数据进行更新，这里的更新数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。
Flink回撤流详解 代码实例
weixin_50227709的博客
04-10 2397
在 Flink 中，回撤流主要出现在使用 Table API 或 SQL 进行聚合或更新操作时。对于那些结果并非单纯追加（append-only）的查询，Flink 会采用“回撤流”模式来表达更新。回撤流一般以元组形式输出，格式为。其中：true表示这是一条新的记录（添加），false表示这条记录是对先前结果的撤回。第二个元素是具体的记录数据（Row）。当一个聚合或窗口计算的结果发生更新时，Flink 会先发送一条撤回消息（撤回旧的计算结果），然后发送一条新的添加消息。
Flink-sql回撤流实现待接单量统计
weixin_46009263的博客
12-24 1054
从一个简单的待接单统计指标入手，学习回撤流概念及实现
Flink SQL中Changelog事件乱序处理原理
soso1968的博客
11-01 1047
在关系数据库领域，MySQL使用binlog（二进制日志）记录数据库中所有修改操作，包括INSERT、UPDATE和DELETE操作。类似地，Flink SQL中的Changelog主要记录数据变化，以实现增量数据处理。在MySQL中，binlog可以用于数据备份、恢复、同步和复制。通过读取和解析binlog中的操作记录，可以实现增量数据同步和复制。变更数据捕获（CDC）作为一种常用的数据同步技术，常被用于监控数据库中的数据变化，并将其转换为事件流进行实时处理。
Flink源码剖析：回撤流
foureyes
11-23 8277
文章目录1. 定义2. 示例2.1 源码分析2.1.1 聚合算子回撤2.1.2 Sink算子回撤2.1.3 聚合算子回撤 VS Sink算子回撤 1. 定义 Flink中，Kafka Source是非回撤流，Group By是回撤流。所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据再次到来，会生成
FlinkSQL 开发经验分享
阿里技术
07-03 2064
FlinkSQL 的开发是最方便高效的实时数据需求的实现途径，但是它和离线的 ODPS SQL 开发在底层的机制和原理上还是有很大的区别，根本的区别就在于流和批的处理。如果按照我们已经习惯的离线思维来写 FlinkSQL，就可能会出现一些“离奇”的结果，但是遇到问题并不可怕，要始终相信根本不存在任何“离奇”，所有的问题都是可以追溯到原因的，而在这个探索的过程中，也可以学习到许多知识，所以让我们遇到更多的问题，积累更多的经验，熟练地应用 Flink。
flink-learn：学习Flink
01-28
Flink学习 Flink Scala版本 卡夫卡版 1.10.0 2.11+ 0.10+ Maven 模板 : https://www.mvnjar.com/org.apache.flink/flink-quickstart-scala/jar.html <br> 注意 ： 当在idea上调试时，先将 es-shade install。然后 ignore Project：es-shade ；否则有冲突问题 Flink提交 ！：1.10之后去掉 -yn ，加上会报错 1：单独资源： flink run -m yarn-cluster --yarnname _wc -p 5 -yjm 1024 -ytm 1024 -ys 2 WordCount.jar 2：共享空间： yarn-session.sh -n 5 -jm 1024 -tm 1024 -s 2 // 在yarn提前开辟一个资源空间 application_1567318548013_0001。 <br> 在开辟的空间上提交任务： flink run -m yarn-cluster --yarnname flink_wc
flink回撤流分析
wisgood的专栏
11-04 3248
flink回撤流
当在使用flinksql的left join出现撤回流该如何解决？
weixin_64261178的博客
07-15 2449
在 Flink SQL 中，INNER JOIN、RIGHT JOIN 和 FULL OUTER JOIN 操作会因为数据变化而产生撤回流。这是为了确保流处理的结果一致性和准确性。在设计流处理应用时，需要考虑这些撤回流的影响，选择合适的 sink connector，例如 upsert-kafka，以正确处理这些操作
flink学习-flink sql
taotaobujuerulv的博客
06-18 482
在flink的数据处理中，数据流是源源不断的，是无界的，所以对于flink处理的数据表是一张动态表，所以对于动态表的查询也是持续的，每接收一条新数据会进行一次新的查询。
Flink必知必会系列之回撤流(RetractStream)源码解读
微信搜：import_bigdata，大数据领域硬核原创作者
01-29 2889
????全网最全大数据面试提升手册！2023年持续更新！1. 定义Flink中，Kafka Source是非回撤流，Group By是回撤流。所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据...
FlinkSQL中的回退更新-Retraction
u011250186的博客
03-24 849
公众号《大数据技术与架构》，大数据领域高级进阶 已关注 5 人赞同了该文章 前言 如果你在使用FlinkSQL时出现如下的报错： Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages. 那么你就有必要了解一下Flink中的回退更新。简介 通俗的讲"回退更新"就是传统数据里面的更新操作，也就是说Retract是流式计算场景下对数据更新的处理。 ...
Flink 双流 Join 解决方案
m0_61607827的博客
04-13 3379
1.前言 本文主要是整理博主收集的 Flink 高频面试题。如果本文对你有所帮助，请点个喜欢 + 在看吧。 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： ⭐ Join 的应用场景 ⭐ 为什么流式计算中提到 Join 小伙伴萌就怕呢？ ⭐ 带大家看一遍本文思路 ⭐ Flink Join 解决方案：Flink Window Join ⭐ Flink Join
flink- 回撤流
qq_18494057的博客
05-06 756
业务系统的订单金额会被修改或者新增， 从一些维度实时计算订单汇总金额。
flink 回撤流
最新发布
11-19
### Flink 回撤流介绍 在 Flink 中，当使用 Flink SQL 处理实时数据，把表转化成流时，有 `toAppendStream` 与 `toRetractStream` 两个方法。回撤流是实时生成的，使用 `toRetractStream` 方法可以处理它。回撤流中的数据带有操作标识，通常用 `+I` 表示插入（Insert），`-U` 表示更新前的回撤（Update Retract），`+U` 表示更新后的数据（Update Insert）。例如： ``` +----+--------------------------------+-------------+ | op | ipv4 | value1 | +----+--------------------------------+-------------+ | +I | 10.10.28.240 | 100 | | -U | 10.10.28.240 | 100 | | +U | 10.10.28.240 | 101 | | -U | 10.10.28.240 | 101 | | +U | 10.10.28.240 | 102 | | -U | 10.10.28.240 | 102 | | +U | 10.10.28.240 | 103 | ``` 这里的 `+I` 表示新插入一条数据，`-U` 表示要将之前的某条数据回撤，`+U` 表示更新后的数据插入 [^1][^2]。 ### Flink 回撤流处理方法 #### 自定义 Sink 实现 不依赖官方的 `flink - jdbc` 实现，自己实现一个 Sink 来处理回撤流数据。在自定义 Sink 中，对回撤流数据进行特殊处理，确保回撤数据和更新数据能正确写入目标存储。以下是一个简单的 Java 示例： ```java import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.functions.sink.RichSinkFunction; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; public class CustomMySQLSink extends RichSinkFunction<YourRecordType> { private Connection connection; private PreparedStatement insertStmt; private PreparedStatement deleteStmt; @Override public void open(Configuration parameters) throws Exception { super.open(parameters); // 建立数据库连接 connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/your_database", "username", "password"); // 插入语句 insertStmt = connection.prepareStatement("INSERT INTO your_table (column1, column2) VALUES (?, ?)"); // 删除语句 deleteStmt = connection.prepareStatement("DELETE FROM your_table WHERE column1 = ?"); } @Override public void invoke(YourRecordType value, Context context) throws Exception { if (value.isRetract()) { // 处理回撤数据 deleteStmt.setString(1, value.getColumn1Value()); deleteStmt.execute(); } else { // 处理正常数据 insertStmt.setString(1, value.getColumn1Value()); insertStmt.setString(2, value.getColumn2Value()); insertStmt.execute(); } } @Override public void close() throws Exception { super.close(); if (insertStmt != null) { insertStmt.close(); } if (deleteStmt != null) { deleteStmt.close(); } if (connection != null) { connection.close(); } } } ``` #### 状态管理 利用 Flink 的状态管理机制，维护数据的状态。在接收到回撤流数据时，更新状态信息，然后根据最新的状态信息将数据写入目标存储。这样可以确保数据的一致性。 #### 批量写入优化 为了提高写入性能，采用批量写入的方式。在自定义 Sink 中，缓存一定数量的数据，当数据达到一定数量或者达到一定时间间隔时，批量写入目标存储。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Direction_Wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值