flink学习42：tableAPI的join、union、排序、插入操作

最新推荐文章于 2024-08-06 21:42:14 发布
最新推荐文章于 2024-08-06 21:42:14 发布
阅读量180 收藏
点赞数
分类专栏： Flink 文章标签： flink 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hzp666/article/details/130598798
版权
本文详细介绍了数据库中的各种操作，包括内连接和外连接用于数据表的合并，UNION操作用于获取集合的并集，以及如何获取交集和差集。此外，还讨论了IN操作在筛选数据中的应用，以及排序和插入操作在数据库管理中的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

连接

 

内连接

 外连接

 集合操作 union

 获取交集

 

 获取差集

 

 

in 操作

 

排序操作

 

插入操作

Flink,join，coGroup，connect，union的区别、使用和实
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-17 7215
join： 1 可用于DataStream和DataSet。只能2个DataStream一起join，或者2个DataSet一起join 2 用于DataStream时返回是JoinedStreams ,用于DataSet时返回是JoinOperatorSets 3用于DataStream时需要与窗口同时使用，语法是：join where equalTo window apply ，用于DataSet时的语法是：join where equalTo with （where是指定第一个输入的分区...
Flink Table API
Fenggms的博客
10-31 1280
Flink API架构： Table API &SQL特点 Table API和SQL都是Apache Flink中最高层的分析API，SQL所具备的特点Table API也都具有，如下： 声明式 - 用户只关心做什么，不用关心怎么做； 高性能 - 支持查询优化，可以获取最好的执行性能； 流批统一 - 相同的统计逻辑，既可以流模式运行，也可以批模式运行； 标准稳定 - 语义遵循SQL...
Flink-多流转换(Union、Connect、Join)
迷雾总会解
02-20 3333
对于连接流 ConnectedStreams 的处理操作，需要分别定义对两条流的处理转换，因此接口中就会有两个相同的方法需要实现，用数字“1”“2”区分，在两条流中的数据到来时分别调用。关于两条流的连接，还有一种比较特殊的用法：DataStream 调用.connect()方法时，传入的参数也可以不是一个 DataStream，而是一个“广播流”（BroadcastStream），这时合并两条流得到的就变成了一个“广播连接流”（BroadcastConnectedStream）。
（十七）Flink Table API & SQL 编程指南 概念与通用api
京河小蚁的博客
06-11 568
Table API & SQL 集成在同一套 API 中。 这套 API 的核心概念是Table，用作查询的输入和输出。 本文介绍 Table API & SQL 查询程序的通用结构、如何注册 Table 、如何查询 Table 以及如何输出 Table 。所有用于批处理和流处理的 Table API 和 SQL 程序都遵循相同的模式。下面的代码示例展示了 Table API 和 SQL 程序的通用结构（本代码伪代码，不能运行，只为提供学习代码结构，文章末尾会提供能运行的代码）。 Table API 和 S
oracleI基础入门(8)--table--union
weixin_30797027的博客
06-11 90
UNIONUNION 指令的目的是将两个 SQL 语句的结果合并起来。从这个角度来看， UNION 跟JOIN 有些许类似，因为这两个指令都可以由多个表格中撷取资料。 UNION 的一个限制是两个 SQL 语句所产生的栏位需要是同样的资料种类。 UNION 的语法如下：[SQL 语句 1] UNION [SQL 语句 2]假设我们有以下的两个表格，Store_Information 表格s...
flink1.7.2 tableapi批处理示例
大数据技术分享
03-16 1586
flink1.7.2 tableapi批处理示例 源码 https://github.com/opensourceteams/flink-maven-scala 概述 本文为flink1.7.2 tableapi批处理示例 主要操作包括: print table,DataSet 转换成table,Scan,select,as,where / filter,groupBy,distinct,j...
Flink temporal table join研究
Deepexi_Date的博客
03-07 2654
作者：王东阳 前言 ANSI-SQL 2011 中提出了Temporal 的概念，Oracle，SQLServer，DB2等大的数据库厂商也先后实现了这个标准。Temporal Table记录了历史上任何时间点所有的数据改动，Temporal Table具有普通table的特性，有具体独特的DDL/DML/QUERY语法，时间是其核心属性。历史意味着时间，意味着快照Snapshot。 Apache Flink遵循ANSI-SQL标准，Apache Flink中Temporal Table的概念也源于ANSI
Flink Table API 与 SQL概念（一）
forrest420的专栏
04-30 3253
重点： table api、sql api 可以与flink datastream api进行无缝切换 下图是flink 所有api的抽象级别。dataSet API概念会见见淡化，开发中不要使用 DataStream 和 Table 之间的转换（在 StreamTableEnvironment 的情况下） 概览（Overview） Apache Flink 具有两个关系 API - Table API 和 SQL - 用于统一流和批处理。 Table API 是用于 Java、Scal.
Flink Table API & SQL - 概念和通用API
longlovefilm的博客
07-03 473
Table API 和 SQL 集成在一个 API 中。这个 API 用作查询、输入和输出的表。本文档展示了带有 Table API 和 SQL 查询的程序的公共结构、如何注册表、如何查询表以及如何写入表。 目录 两个Planner之间的主要区别 Table API and SQL的结构 创建一个TableEnvironment 在 Calalog 中注册表 注册 Table 注册 TableSource 注册 TableSink 注册外部Calalog 查询表 Table API
Flink学习之Flink SQL（补）
m0_58050808的博客
08-06 1593
启动yarn-session启动Flink SQL客户端测试重启SQL客户端之后，需要重新建表。
Flink：table API
啥也不会的博客
07-07 2897
目录 Flink API概述 两套方案的区别 两者在编译与执行的区别 两者在优化SQL语句时的区别 如何使用Table API 入门 导入依赖 代码结构 创建TableEnvironment 创建表 从外部关系型数据库中创建表 标识符 查询表 使用table API 使用SQL Table sink将表写到外部系统 与DataStream和DataSet API集成 将table转换成DataStream或DataSet Data Types映射Table Schema
MySQL_Table_Union_Query_Alias
chizhuo1320的博客
05-05 95
1. Union selectidfromt_book; selectidfromt_bookType; selectidfromt_bookunionselectidfromt_bookType; 2. Union all select...
Flink流处理案例：实时数据排序
AI天才研究院
01-25 1676
1.背景介绍 1. 背景介绍 Apache Flink是一个流处理框架，用于实时数据处理和分析。它可以处理大规模数据流，并提供低延迟、高吞吐量和强一致性等特性。Flink流处理框架支持多种数据源和接口，如Kafka、HDFS、TCP等，可以处理各种复杂的数据流操作，如窗口操作、连接操作、聚合操作等。 在实际应用中，Flink流处理框架可以应用于各种场景，如实时数据分析、实时监控、实时推荐等。...
Flink对keyBy汇总后的数据排序
xkxdqj的博客
03-02 4112
val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val sourceStream = env.fromCollection(List( "a,1646150400000", "a,1646150403000",.
Flink的流中的自定义排序操作
AI天才研究院
01-21 1160
1.背景介绍 在大数据处理领域，流处理是一种实时的数据处理方法，用于处理大量的、高速的、实时的数据流。Apache Flink是一个流处理框架，可以用于实现流处理任务。在Flink中，自定义排序操作是一种常见的流处理任务，用于对流中的数据进行排序。本文将详细介绍Flink的流中自定义排序操作的背景、核心概念、算法原理、最佳实践、实际应用场景、工具和资源推荐以及未来发展趋势与挑战。 1. 背景介...
【Flink】Flink 快速排序在Flink中的应用案例 QuickSort
九师兄
12-25 650
在这篇文章中，我们看到FLink引入快速排序的原因。
Flink基于Java的WordCount，根据滑动窗口动态排序实现
weixin_43260123的博客
12-17 3193
Flink基于Java实现wordcount的动态排序
flink 1.10.1 java版本窗口计算案例（全量、增量、排序）
liaomingwu的专栏
02-14 1613
flink 1.10.1 java版本窗口计算案例（全量、增量、排序）
如何使用Flink实现排行榜TopN
qq_43147161的博客
03-31 1136
Flink实现排行榜TopN
在flink代码中写flink sql怎么比较美观
最新发布
01-06
### 编写美观的Flink SQL最佳实践 #### 1. 统一编码风格 为了确保SQL语句易于阅读和维护，建议采用统一的编码风格。这包括合理使用缩进、空格以及换行来分隔不同的逻辑部分。 ```sql SELECT user_id, COUNT(*) AS click_count, SUM(amount) AS total_amount FROM clicks WHERE event_time >= '2023-01-01' AND event_time < '2023-02-01' GROUP BY user_id; ``` #### 2. 参数化查询 通过参数化可以提高安全性并减少硬编码带来的错误风险。对于动态输入的部分应尽可能利用外部配置文件或程序变量传递给SQL模板[^1]。 ```java // Java代码片段设置表环境 TableEnvironment tableEnv = ...; // 定义时间范围作为参数 String startTimeParam = "startTime"; String endTimeParam = "endTime"; tableEnv.executeSql( String.format(""" SELECT * FROM sales_data WHERE order_date BETWEEN $%s$ AND $%s$ """, startTimeParam, endTimeParam)); ``` #### 3. 注释说明 适当添加注释有助于他人理解复杂业务逻辑背后的意图。特别是当涉及多个子查询或者窗口函数时更应该如此做[^2]。 ```sql -- 计算每日活跃用户的数量，并按日期降序排列 WITH daily_active_users AS ( /* 子查询用于获取每天登录系统的唯一用户 */ SELECT DATE(event_timestamp) as day, COUNT(DISTINCT user_id) as dau FROM login_events GROUP BY DATE(event_timestamp) ) SELECT * FROM daily_active_users ORDER BY day DESC; ``` #### 4. 利用CTE简化表达 公共表表达式（Common Table Expressions, CTE）可以使复杂的多层嵌套变得直观易懂。它允许我们将中间结果集命名以便后续重用，在处理层次关系数据方面尤为有用。 ```sql WITH product_sales AS ( -- 获取每种商品在过去一个月内的销售额 SELECT p.product_name, SUM(s.quantity * s.price_per_unit) as revenue FROM products p JOIN sales s ON p.id = s.product_id WHERE sale_date >= CURRENT_DATE - INTERVAL '1 month' GROUP BY p.product_name ), top_selling_products AS ( -- 找出销售金额最高的前五名产品 SELECT ps.*, ROW_NUMBER() OVER (ORDER BY ps.revenue DESC) rn FROM product_sales ps ) SELECT tsp.* FROM top_selling_products tsp WHERE tsp.rn <= 5; ``` #### 5. 结合API特性优化性能 充分利用`Flink Table API`提供的各种内置函数与聚合操作符能够有效提升执行效率。例如应用增量计算模式代替全量扫描；或是借助物化视图缓存频繁访问的结果集等技术手段。 ```scala val tEnv: StreamTableEnvironment = ... tEnv.createTemporaryView("clicks", ...) tEnv.createTemporaryView("users", ...) // 使用滑动窗口统计最近十分钟内各城市的点击次数 val result = tEnv.sqlQuery(""" SELECT city, TUMBLE_START(watermark, INTERVAL '10' MINUTE), count(*) FROM clicks WINDOW tumble over 10 minutes on watermark as w GROUP BY city, w """) result.toRetractStream[(String, Long)].print() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值