基于 FLINK SQL 的实时数据打宽的三种方式

最新推荐文章于 2025-04-25 12:44:55 发布
最新推荐文章于 2025-04-25 12:44:55 发布
阅读量1.5k 收藏 10
点赞数 3
CC 4.0 BY-SA版权
分类专栏： flink实战 文章标签： sql flink 实时数据打宽 时态表JOIN temporal join
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/penriver/article/details/120303670
本文介绍了使用 Flink SQL 进行实时数据打宽的三种方法：双流join、区间join和时态表Join。时态表Join包括与Lookup DB、版本表以及Hive分区表的关联，详细阐述了每种方法的特性和使用场景，并提供了示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文根据 《【Flink 1.12】基于 FLINK SQL 的实时数据打宽》中的内容整理而成

1 实时数据打宽

利⽤ Flink SQL 打宽实时数据，共有以下方式：

  • 双流join (Regular join)
  • 区间join (Interval join)
  • 时态表join (Temporal join)

1.1 双流join

  • 支持 INNER JOIN， LEFT JOIN， RIGHT JOIN,FULL OUTER JOIN
  • 语法, 语义 均和传统批 SQL 一致
  • 左右流都会触发结果更新
  • 状态持续增长，一般结合 state TTL 使用
SELECT i.*, c.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink1.12 纯flinkSql 双流join实现舆情数据宽表加工
m0_37592814的博客
07-28 1292
细节待补充 主要是maxwell 监控采集到mysql中舆情数据表、用户信息表信息，用户表先与重点关注人员维度表、省份维度表关联得到用户信息维度表，再与舆情数据表实时join 最终落到es中 供各项指标查询 ...
Flink cdc+ doris 大宽表实践~
qq_31866793的博客
11-19 7341
还没整理好，别慌。
基于 FLINK SQL 的实时数据打宽
chbxw
09-15 1537
一、数据打宽 二、双流 Join & 区间 Join 三、时态表 Join 四、案例 关注我的公众号【宝哥大数据】， 更多大数据干货 参考： https://www.bilibili.com/video/BV1Ap4y1h7j1?from=search&seid=16517504794128610121&spm_id_from=333.337.0.0 完整课程及PPT下载：https://flink-learning.org.cn/activity/detail/1e05a0837
FlinkSql入门与实践
最新发布
qq_41067796的博客
04-25 1920
Flink SQL 应运而生，它让开发者无需编写复杂的状态管理代码，就能实现实时ETL、复杂事件处理（CEP）、实时报表等场景。在大数据领域，流处理与批处理的界限正逐渐模糊。传统 SQL 是面向静态数据的查询语言，而现代实时业务要求对。捕获 MySQL 的变更数据（CDC），实时同步到 Hudi 数据湖。——随时间变化的表。与传统数据库表不同，动态表通过。实时流与外部维表（如 MySQL）关联时，需通过。实现模式匹配（如检测连续登录失败）。Flink SQL 的核心抽象是。
flink打宽数据的三种方式
SQL_mjkl963124412的博客
01-27 2850
1：首先要区分普通表和时态表 1.1：普通表： 可以理解为普通表就是一张随着时间数据在不断变化的表，类似于每个停车场内现存的车辆个数，他的最大特点是数据持续发生变化但是始终保持原有的条数，类似于总量总和，这个数据是不断的发生变化的，一般来讲这张表对应的是外部数据表例如： 假设 LatestRates 是一个物化的最新汇率表 (比如：一张 HBase 表)，LatestRates 总是表示 HBase 表 Rates 的最新内容。 我们在 10:15:00 时查询到的内容如下所示： 我们在 11
FlinkSQL-Join打宽案例
shufangreal的博客
08-20 1050
Flink Temporal Join Versioned Table Demo Keyword: [Temporal Join, Versioned Table, mysql-cdc] 1. Flink standalone 环境准备（基于 Flink 1.12.2 版本） (a) 下载 flink 安装包 Flink 安装包: https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala
RisingWave 多流 Join 实现高效实时数据打宽
https://risingwave.com/
01-26 1098
RisingWave 是一个云原生 SQL 流式数据库，并针对流处理 Join 做了大量状态管理、复用、以及性能优化。本文介绍了 RisingWave 的 Join 的使用场景，流处理 Join 的基本原理，以及 Join 状态的特点。同时介绍了如何使用 Watermark 来控制 Join 状态的大小。RisingWave 提供 Symmetric Hash Join、Interval Join、Temporal Join、Delta Join 等面向用户的 Join Features。
基于Flink构建实时数据仓库.pptx
03-03
本文将介绍基于 Flink 构建实时数据仓库的知识点，包括 Flink 的基本概念、Flink SQL 的扩展工作、实时数据仓库的应用案例、Apache Flink 的未来工作思考与展望等。 一、Flink 基础概念 Flink 是一个开源的分布式...
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库课程
10-26
在构建实时数据仓库的过程中，Flink、FlinkCDC、FlinkSQL和Clickhouse这四个关键技术起着至关重要的作用。本文将深入探讨这些技术，并结合2022年新课中的内容，详细介绍如何利用它们构建高效的实时数据处理系统。 ...
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库（2022新课，基于flink1.14）
12-27
《基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库》——本课程为大数据实时数仓项目实战课程，以大数据实时数仓项目为主线，理论和实战相结合，全方位、全流程、无死角讲解数仓项目的数仓基础、项目规划、...
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库2022
10-26
分享一套flink实时数仓的课程——《基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库》，2022年10月完结的新课，课程基于flink1.14版本，视频+源码+课件+软件包，一起提供下载！
异步io实现实时数据表拉宽
new_Xxx的博客
02-27 667
Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。 **场景:**流计算中因原来的表字段不够,需要扩宽,这样我们就需要查询外部数据库关联以获取额外的字段,通常,我们的实现方式是向数据库发送用户a的查询请求,然后等待返回结果,在这之间我们无法发送用户b的查询请求。这是一种同步访问的模式,如下图左边所示。 ...
doris - 数仓 拉链表 按天全量打宽表性能优化
a123147abc的博客
02-17 2148
doris - 数仓 拉链表 按天全量打宽表性能优化
大数据智慧数字电商第四课 数据拉取和etl处理
fegus的博客
04-28 2063
大数据数仓项目第04天 课程目标 能够点击流日志实时拉宽处理 能够对订单数据以及订单明细数据进行实时etl处理 能够使用Flink异步IO拉取Redis维度数据 能够对商品数据以及购物车和评论数据实时etl处理 Flink实时etl 点击流消息实时拉宽处理 拉宽点击流消息处理 1、在etl包下创建ClickLogETL类，实现MQBaseETL 2、将nginx日志转换为点击流实体类 3、对点击流实体对象进行拉宽操作，返回拉宽后的点击流实体类 4、将拉宽后的点击流实体类转换成json字符串 5、将jso
Flink SQL之Interval Joins
marui156的专栏
06-14 2413
区间是双流join的优化，基于处理时间或事件时间，在一定时间区间内数据，相同的key进行join（支持 Batch\Streaming）。Interval Join 可以让一条流去 Join 另一条流中前后一段时间内的数据。对于stream查询，时间区间oin只支持有时间属性的 append-only表。由于时间属性是准单调递增的，Flink可以从其状态中删除旧值，而不会影响结果的正确性。优点：由于给定了关联的区间，因此只需要保留很少的状态，内存压力较小。
关于数仓的DWD层的讲解和拉链表讲解以及进行JOIN优化
weixin_50479099的博客
06-07 4347
在数仓的构建DWD层的时候有些数据需要去转化成拉链表来经行处理所以在今天我会着重讲解拉链表的使用以及在DWB JOIN表的时候进行的优化防止数据倾斜
Flink1.12集成Hive打造自己的批流一体数仓
微信搜：import_bigdata，大数据领域硬核原创作者
01-10 2324
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源 简介小编在去年之前分享过参与的实时数据平台的建设，关于实时数仓也进行过分享。客观的说，我们当时做不到批流一体，小编当时的方...
HiveCatalog 介绍与使用
cloudbigdata的博客
07-20 4586
作者：苏文鹏，腾讯 CSIG 工程师一、背景Apache Hive 已经成为了数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和 ETL 场景的 SQL 引擎，同样它也是一个数据管理平台，可用于发现、定义和演化数据。Flink 与 Hive 的集成包含两个层面：一是利用了 Hive 的 Metastore 作为持久化的 Catalog，用户可通过 HiveCatal...
1.19.5.4.流上的Join、常规Join、时间区间Join、时态表Join、基于处理时间的时态Join、时态表函数Join、用法
涂作权的博客
06-27 915
Join 在批数据处理中是比较常见且广为人知的运算，一般用于连接两张关系表。然而在动态表中 Join 的语义会难以理解甚至让人困惑。因而，Flink 提供了几种基于 Table API 和 SQL 的 Join 方法。欲获取更多关于 Join 语法的细节，请参考 Table API 和 SQL 中的 Join 章节。常规 Join 是最常用的 Join 用法。在常规 Join 中，任何新记录或对 Join 两侧表的任何更改都是可见的，并会影响最终整个 Join 的结果。例如，如果 Join 左侧插入了一条新
使用Flink构建实时数据仓库的演进与实践
"基于Flink构建实时数据仓库的讲解，主要涵盖了OPPO实时数仓的演进思路、基于FlinkSQL的扩展工作、构建实时数仓的应用案例以及对Apache Flink未来发展的思考。" 在现代大数据处理领域，Apache Flink作为一种强大的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

enjoy编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值