FlinkSQL中间表使用零时表Temporary TABLE

最新推荐文章于 2024-10-25 18:42:31 发布

科学的N次方

最新推荐文章于 2024-10-25 18:42:31 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/117404662

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Flink SQL中的临时表（Temporary TABLE）概念，阐述了其在大数据实时处理中的作用和使用场景。通过实例展示了如何创建和使用临时表，以及它与常规表的区别，帮助读者理解这种零时数据存储的灵活性和实用性。

SET table.sql-dialect=hive;
use catalog myhive;
CREATE TABLE IF NOT EXISTS sink_parent_info(
 etl_date STRING
,id                       BIGINT
,user_id                  BIGINT
,height                   DECIMAL(5,2

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

科学的N次方

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Flink实战（七十七）：flink-sql使用（五）分离的 SQL 查询、SQL 视图、临时表（Temporal Table）

微信搜：import_bigdata，大数据领域硬核原创作者

01-23

1419

声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》分离的 SQL 查询为定义端到端的 SQL 管道，SQL 的INSERT INTO语句可以向 Flink 集群提交长时间运行的分离查询。查询产生的结果输出到除 SQL 客户端外的扩展系统中。这样可以应对更高的并发和更多的数据。CLI 自身在提交后不对分离查询做任何控制。 INSERT INTO MyTableSink SELECT * FROM MyTableSource si..

大数据Flink（一百一十五）：Flink SQL的基本概念

Lansonli（蓝深李）的博客

09-08

2599

因为这个表的元数据没有被持久化。那么在这个 Flink session 中，你的任务访问到这个表时，访问到的永远是临时表（即相同名称的表，临时表会屏蔽永久表）。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出。表可以是临时的，并与单个 Flink session（可以理解为 Flink 任务运行一次就是一个 session）的生命周期绑定。任务状态变成运行中后，点击任务进入任务详情，点击作业探查，点击运行日志下的Task Managers，点击Path，ID实例。

参与评论您还未登录，请先登录后发表或查看评论

基于FlinkSQL流式处理的练习(Temporal Table的使用)

myskyzcb的博客

06-09

1198

Flink的表API是一种类似SQL的表达式语言，用于关系流和批处理，可以嵌入Flink的Java和Scala数据集和数据流API中。表API和SQL接口在关系表抽象上运行，可以从外部数据源或现有数据流和数据集创建表。表API支持关系运算符，如表上的选择、聚合和连接等。也可以使用常规SQL查询表。表API提供了和SQL相同的功能，可以在同一程序中混合使用。将表转换回数据集或数据流时，由关系运算符和SQL查询定义的逻辑计划将使用Apache Calcite进行优化，并转换为数据集或数据流程序 ...

Flink SQL之时态表（Temporal Tables）

蔡政洁的博客

04-09

3300

目录时态表（Temporal Table）是一张随时间变化的表 – 在 Flink 中称为动态表，时态表中的每条记录都关联了一个或多个时间段，所有的 Flink 表都是时态的（动态的）。时态表包含表的一个或多个有版本的表快照，时态表可以是一张跟踪所有变更记录的表（例如数据库表的 changelog，包含多个表快照），也可以是物化所有变更之后的表（例如数据库表，只有最新表快照）。版本: 时态表可以划分成一系列带版本的表快照集合，表快照中的版本代表了快照中所有记录的有效区间，有效区间的开始时间和结束时间可

flink-入门功能整合(udf,创建临时表table,使用flink sql)

superMario

03-02

2070

说明本次测试用scala,java版本大体都差不多,不再写两个版本了 StreamTableEnvironment做了很多调整,目前很多网上的样例使用的都是过时的api,本次代码测试使用的都是官方doc中推荐使用的新api 本次测试代码主要测试了三个基本功能:1.UDF 2.流处理Table的创建以及注册 3.Flink Sql 代码 import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.scala.{Da

Flink-SQL——时态表(Temporal Table)

热门推荐

01-15

4万+

Temporal Table可以简化和加速我们对历史状态数据的查询，并减少对状态的使用。Temporal Table是将一个Append-Only表(如上product_history_info)中追加的行，根据设置的主键和时间(如上productID、updatedAt)，解释成Chanlog，并在特定时间提供数据的版本。在使用时态表(Temporal Table)时，要注意以下问题。Temporal Table可提供历史某个时间点上的数据。Temporal Table根据时间来跟踪版本。

Flink SQL流处理中的表

weixin_64403990的博客

07-14

312

SQL API 是基于 SQL 标准的 Apache Calcite 框架实现的，可通过纯 SQL 来开发和运行一个Flink 任务。

FlinkSql维表join之Temporal table join

my_power520的博客

07-31

634

FlinkSql维表join之Temporal table join

FlinkSQL系列02-Table表对象和SQL表视图

边看边学

08-27

2063

Table 对象获取方式解析：从已注册的表// 通过已经在 env 的 catalog 中注册的表名，获得 Table 对象从 TableDescriptor（连接器/format/schema/options）

FLINK SQL语法(1)

王小工小工历程

10-14

2246

Flink SQL Connector是一种用于在Flink SQL与外部数据源或数据汇之间建立连接的插件。它允许Flink SQL从外部数据源读取数据，并将处理后的数据写入到外部数据汇中。通过Connector，Flink SQL能够轻松实现对各种类型数据的实时处理和分析。在某些特殊情况下，用户可能需要自定义Connector来满足特定的需求。Flink提供了丰富的API和工具来支持用户自定义Connector。自定义Connector通常涉及以下几个步骤：1.定义Connector的工厂类。

Flink Table & SQL 时态表Temporal Table

王佩的优快云博客

12-14

3705

举个栗子，假设你在Mysql中有两张表: browse_event、product_history_info。 browse_event: 事件表，某个用户在某个时刻浏览了某个商品，以及商品的价值。如下: SELECT * FROM browse_event; +--------+---------------------+-----------+-----------+-----------...

Flink TableAPI Create Table

难得糊涂

03-23

2574

Flink Temporal tables

数据工匠记

02-18

5426

FlinkSQL 中上下文、表、视图解析

猫猫爱吃小鱼粮

03-10

1162

FlinkSQL 中上下文、表、视图解析

FlinkSQL--时态表或版本表（Temporal Tables 或 Versioned Tables）

chbxw

11-02

1155

flinksql-- 流的概念--- 时态表或者版本表

Flink中的时态表 Temporal Tables

云想慕尘的专栏

06-20

4059

flink中的临时表（temporal table）是什么，以及怎么创建临时表和临时表函数。临时表表示一个可变表上（参数化）视图的概念，该视图返回表在特定时间点的内容。

FlinkSql中表的创建及查询

qq_42456324的博客

10-24

6649

本文主要介绍FlinkSql中和以往的sql语句差异的地方

FlinkSQL之temporary join开发

最新发布

淘系技术

10-25

1419

在实时开发中，双流join获取目标对应时刻的属性时，经常使用temporary join。笔者在流量升级的实时迭代中，需要让流量日志精准的匹配上浏览时间里对应的商品属性，使用temporary join开发过程中踩坑不少，将一些经验沉淀在此文中，供各位同学参考与交流。背景介绍关于实时flinkSQL的双流join的背景知识可以先阅读以下文章：https://www.51cto.com/articl...

4.2.3 Flink-流处理框架-Table API 与 SQL-流转表+表转流+创建临时视图（Temporary View）

敲代码的乔帮主

03-12

4740

目录 1.写在前面 2.代码表达 3.数据类型与Table schema 的对应 4.创建临时视图（Temporary View） 1.写在前面 Flink 允许我们把 Table 和 DataStream 做转换：我们可以基于一个 DataStream，先流式地读取数据源，然后 map 成 POJO，再把它转成 Table。Table 的列字段（column fields），就是 POJO 里的字段，这样就不用再麻烦地定义 schema 了。 2.代码表达 ...

flink sql 中使用临时表

07-28

在 Flink SQL 中，您可以使用临时表来存储和处理数据。临时表是一种在查询执行期间存在的表，不会持久化到外部存储介质中。以下是使用临时表的一些示例操作： 1. 创建临时表： ```sql CREATE TEMPORARY TABLE temp_table ( id INT, name STRING ) ``` 2. 插入数据到临时表： ```sql INSERT INTO temp_table SELECT id, name FROM source_table ``` 3. 查询临时表： ```sql SELECT * FROM temp_table ``` 4. 删除临时表： ```sql DROP TEMPORARY TABLE temp_table ``` 在上述示例中，临时表是在查询执行期间存在的，并在查询结束后自动删除。您可以使用标准的 SQL 语法来创建、插入、查询和删除临时表。请注意，临时表只在当前会话中可见，其他会话或任务无法访问该表。如果您需要在多个会话或任务之间共享表数据，则可以考虑使用永久性表，如注册在外部数据库或文件系统中的表。希望这对您有所帮助！如果有任何其他问题，请随时提问。