FlinkSQL中间表使用零时表Temporary TABLE

最新推荐文章于 2025-05-02 22:22:04 发布

科学的N次方

最新推荐文章于 2025-05-02 22:22:04 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/117404662

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Flink SQL中的临时表（Temporary TABLE）概念，阐述了其在大数据实时处理中的作用和使用场景。通过实例展示了如何创建和使用临时表，以及它与常规表的区别，帮助读者理解这种零时数据存储的灵活性和实用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SET table.sql-dialect=hive;
use catalog myhive;
CREATE TABLE IF NOT EXISTS sink_parent_info(
 etl_date STRING
,id                       BIGINT
,user_id                  BIGINT
,height                   DECIMAL(5,2

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

科学的N次方

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Flink实战（七十七）：flink-sql使用（五）分离的 SQL 查询、SQL 视图、临时表（Temporal Table）

微信搜：import_bigdata，大数据领域硬核原创作者

01-23

1365

声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》分离的 SQL 查询为定义端到端的 SQL 管道，SQL 的INSERT INTO语句可以向 Flink 集群提交长时间运行的分离查询。查询产生的结果输出到除 SQL 客户端外的扩展系统中。这样可以应对更高的并发和更多的数据。CLI 自身在提交后不对分离查询做任何控制。 INSERT INTO MyTableSink SELECT * FROM MyTableSource si..

大数据Flink（一百一十五）：Flink SQL的基本概念

Lansonli（蓝深李）的博客

09-08

2432

因为这个表的元数据没有被持久化。那么在这个 Flink session 中，你的任务访问到这个表时，访问到的永远是临时表（即相同名称的表，临时表会屏蔽永久表）。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出。表可以是临时的，并与单个 Flink session（可以理解为 Flink 任务运行一次就是一个 session）的生命周期绑定。任务状态变成运行中后，点击任务进入任务详情，点击作业探查，点击运行日志下的Task Managers，点击Path，ID实例。

参与评论您还未登录，请先登录后发表或查看评论

基于FlinkSQL流式处理的练习(Temporal Table的使用)

myskyzcb的博客

06-09

1129

Flink的表API是一种类似SQL的表达式语言，用于关系流和批处理，可以嵌入Flink的Java和Scala数据集和数据流API中。表API和SQL接口在关系表抽象上运行，可以从外部数据源或现有数据流和数据集创建表。表API支持关系运算符，如表上的选择、聚合和连接等。也可以使用常规SQL查询表。表API提供了和SQL相同的功能，可以在同一程序中混合使用。将表转换回数据集或数据流时，由关系运算符和SQL查询定义的逻辑计划将使用Apache Calcite进行优化，并转换为数据集或数据流程序 ...

Flink SQL之时态表（Temporal Tables）

蔡政洁的博客

04-09

3187

目录时态表（Temporal Table）是一张随时间变化的表 – 在 Flink 中称为动态表，时态表中的每条记录都关联了一个或多个时间段，所有的 Flink 表都是时态的（动态的）。时态表包含表的一个或多个有版本的表快照，时态表可以是一张跟踪所有变更记录的表（例如数据库表的 changelog，包含多个表快照），也可以是物化所有变更之后的表（例如数据库表，只有最新表快照）。版本: 时态表可以划分成一系列带版本的表快照集合，表快照中的版本代表了快照中所有记录的有效区间，有效区间的开始时间和结束时间可

Flink SQL：简化大数据流处理与批处理

热门推荐

01-15

4万+

Temporal Table可以简化和加速我们对历史状态数据的查询，并减少对状态的使用。Temporal Table是将一个Append-Only表(如上product_history_info)中追加的行，根据设置的主键和时间(如上productID、updatedAt)，解释成Chanlog，并在特定时间提供数据的版本。在使用时态表(Temporal Table)时，要注意以下问题。Temporal Table可提供历史某个时间点上的数据。Temporal Table根据时间来跟踪版本。

【Flink SQL】Flink SQL 基础概念（一）：SQL &amp； Table 运行环境

m0_74932057的博客

04-27

1074

Flink实战（八十三）：flink-sql使用（十）维表join（五）Flink SQL之维表join之Temporal Table Join

微信搜：import_bigdata，大数据领域硬核原创作者

01-23

3160

声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快

Flink SQL流处理中的表

weixin_64403990的博客

07-14

278

SQL API 是基于 SQL 标准的 Apache Calcite 框架实现的，可通过纯 SQL 来开发和运行一个Flink 任务。

Flink Table & SQL 时态表Temporal Table

王佩的优快云博客

12-14

3541

举个栗子，假设你在Mysql中有两张表: browse_event、product_history_info。 browse_event: 事件表，某个用户在某个时刻浏览了某个商品，以及商品的价值。如下: SELECT * FROM browse_event; +--------+---------------------+-----------+-----------+-----------...

Flink TableAPI Create Table

难得糊涂

03-23

2380

Flink Temporal tables

数据工匠记

02-18

5388

FlinkSQL 中上下文、表、视图解析

猫猫爱吃小鱼粮

03-10

1020

FlinkSQL 中上下文、表、视图解析

FlinkSQL--时态表或版本表（Temporal Tables 或 Versioned Tables）

chbxw

11-02

999

flinksql-- 流的概念--- 时态表或者版本表

Flink中的时态表 Temporal Tables

云想慕尘的专栏

06-20

3974

flink中的临时表（temporal table）是什么，以及怎么创建临时表和临时表函数。临时表表示一个可变表上（参数化）视图的概念，该视图返回表在特定时间点的内容。

FlinkSQL之temporary join开发

淘系技术

10-25

1309

在实时开发中，双流join获取目标对应时刻的属性时，经常使用temporary join。笔者在流量升级的实时迭代中，需要让流量日志精准的匹配上浏览时间里对应的商品属性，使用temporary join开发过程中踩坑不少，将一些经验沉淀在此文中，供各位同学参考与交流。背景介绍关于实时flinkSQL的双流join的背景知识可以先阅读以下文章：https://www.51cto.com/articl...

4.2.3 Flink-流处理框架-Table API 与 SQL-流转表+表转流+创建临时视图（Temporary View）

敲代码的乔帮主

03-12

4546

目录 1.写在前面 2.代码表达 3.数据类型与Table schema 的对应 4.创建临时视图（Temporary View） 1.写在前面 Flink 允许我们把 Table 和 DataStream 做转换：我们可以基于一个 DataStream，先流式地读取数据源，然后 map 成 POJO，再把它转成 Table。Table 的列字段（column fields），就是 POJO 里的字段，这样就不用再麻烦地定义 schema 了。 2.代码表达 ...

loadrunner思考时间设置

weixin_50244954的博客

11-23

1016

loadrunner思考时间设置一、什么是思考时间用户访问某个网站，例如一次查询，用户需要时间查看查询的结果是否是自己想要的。例如一次订单提交，用户需要时间核对自己填写的信息是否正确等。也就是说用户在做某些操作时，是会有停留时间的，我把这个时间叫思考时间。但利用代码去执行的时候是没有时间的，当然，脚本运行本身是需要时间的，但比起人的思考时间要小很多。这也是我们为什么要用软件来代替人的某些工作。但有时候，我们在做性能测试时，为了更真实的模拟用户的操作，需要给代码加入思考时间。二...

flink sql 中使用临时表

07-28

在 Flink SQL 中，您可以使用临时表来存储和处理数据。临时表是一种在查询执行期间存在的表，不会持久化到外部存储介质中。以下是使用临时表的一些示例操作： 1. 创建临时表： ```sql CREATE TEMPORARY TABLE temp_table ( id INT, name STRING ) ``` 2. 插入数据到临时表： ```sql INSERT INTO temp_table SELECT id, name FROM source_table ``` 3. 查询临时表： ```sql SELECT * FROM temp_table ``` 4. 删除临时表： ```sql DROP TEMPORARY TABLE temp_table ``` 在上述示例中，临时表是在查询执行期间存在的，并在查询结束后自动删除。您可以使用标准的 SQL 语法来创建、插入、查询和删除临时表。请注意，临时表只在当前会话中可见，其他会话或任务无法访问该表。如果您需要在多个会话或任务之间共享表数据，则可以考虑使用永久性表，如注册在外部数据库或文件系统中的表。希望这对您有所帮助！如果有任何其他问题，请随时提问。