大数据_Flink_Java版_Table API 和 Flink SQL(5)_表的查询---Flink工作笔记0085

最新推荐文章于 2025-06-10 09:31:40 发布
最新推荐文章于 2025-06-10 09:31:40 发布
阅读量513 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 离&实时计算&大数据 文章标签： flink 大数据 big data 架构 java
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/123714329
本文详细介绍了Flink中Table API的查询、过滤、分组和聚合操作，以及如何使用SQL进行数据统计。通过示例展示了如何选择特定字段、过滤数据流、分组并计算平均值。同时，指出了在聚合统计时应使用`toRetractStream`而非`toAppendStream`以确保数据更新的正确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后前面说了表的创建,然后我们再看表的查询

首先可以看到Table

操作以后返回的都是一个Table对吧,然后可以看到

上面首先我们,上一节创建表以后,得到一个inputTable表,然后,

我们可以使用inputTable.select("id","temperature"),这里查询,inputTable中的id和temperature字段对吧.

然后我们再去过滤

调用filter 可以看到我们只获取流中id是sensor_6的数据流对吧.

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据_Flink_Java版_Table API 和 Flink SQL(14)_分组窗口---Flink工作笔记0094
添柴程序猿的专栏
04-04 586
前面我们已经定义好了如何使用table API,Flink SQL来进行添加,时间戳 然后我们再来看,如何用tableapi,以及flinksql来开窗口 首先看 1.groupwindows就是在tableapi以及flinksql中进行开窗口,然后 分组操作 2.然后overwindows就是基于分组好的窗口以及数据,进行计算. 先看groupwindow怎么做,可以看到 需要首先用一个inputTable.window()这里as的w就是定义了一个窗口的...
大数据_Flink_Java版_Table API 和 Flink SQL(3)_表环境配置---Flink工作笔记0083
添柴程序猿的专栏
03-29 414
然后我们再来看,我们创建一个例子 TableTest2_CommonApi来看一下,要使用tableapi和flink sql 首先要创建哪些环境,可以看到,首先还是写上 获取环境的代码 然后设置,并行度是1,然后 这里再用StreamTableEnvironment.create(env); 这里获取StreamTableEnvironment,获取这个 这里我们去看看 这里create的时候,实际上,我们说,我们引入依赖的时候,同时引入了 旧的1.10的tablep...
flink sink jdbc没有数据_Flink的sink实战之四：自定义
weixin_28764823的博客
12-14 417
Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；前文链接《Flink的sink实战之一：初探》《Flink的sink实战之二：kafka》《Flink的sink实战之三：cassandra3》继承关系在正式编码前，要先弄清楚对sink能力是如何实现的，前面我们实战过的print、kafka、cassandra等sink操作，核心类的继承关系如...
java执行sql文件_flink教程-基于flink 1.11 使 sql客户端支持执行sql文件
weixin_39805180的博客
12-03 672
背景源码修改CliOptionsParser.javaCliOptions.javaSqlClient.javaSqlClient#executeFile社区现状背景目前flink的sql客户端提供了一种交互式的sql查询服务，用户可以使用sql客户端执行一些sql的批任务或者流任务。但是当我想执行一些sql的定时任务时，flink却没有提供一个合适的方式，所以综合考虑了一下，我决定在sql的客户...
Flink 系列之二十四 - Flink SQL - 基础操作
最新发布
代码让AI扣
06-10 1034
本章通过基础的建库建表、执行环境配置以及显示模式演示，这些都是为了后面做基础，接下来就按照Data Stream API 方式来讲解在SQL API中如何实现对应功能。
Flink流处理中的表
yingzi的技术博客
04-26 1396
将一个Table转换成DataStream时，有仅插入流（Insert-Only-Streams）、更新日志流（Changelog Streams）两种方式，具体使用哪种方式取决于表中是否存在更新操作 文章目录动态表和持续查询1、动态表2、持续查询3、将流转换成动态表用SQL持续查询1、更新查询2、追加查询3、查询限制将动态表转换成流 关系型表/SQL 流处理 处理的数据对象 字段元组的有界集合 字段元组的无限序列 查询（Query） 可以访问到完整的数据输入 无法访问到所有数据，必须
大数据_Flink_Java版_Table API 和 Flink SQL(18)_用户自定义函数_表函数---Flink工作笔记0098
添柴程序猿的专栏
04-06 287
然后我们再来看这个表函数,这里要注意上一节我们说的,scalarFunction这个类似于, 我们用的map方法,这个是一条输入,紧接着经过map以后会有一条数据对吧,这个scalarFunction 也是一条输入,会有一个输出. 但是这个TableFunction他是一条输入,会产生多条输出,就有点类似于我们之前用的 flatMap方法了. 我们写个案例去看一下 我们直接把上一节写的代码copy过来,修改比较快 这里可以看到,我们首先,创建执行环境,设置并行度,创建...
大数据_Flink_Java版_Table API 和 Flink SQL(6)_表的输出_输出到文件---Flink工作笔记0086
添柴程序猿的专栏
03-31 552
然后我们再来看如何写出数据,使用tableapi 上面是数据读入,以及创建table的过程 然后上面是,整个程序的结果,可以看到创建环境,然后连接外部数据源, 然后读入数据,然后创建输出数据的表,然后,数据查询,然后把 结果,通过输出数据的表,写入到文件中去. 我们去写个测试,新建 TableTest3_FileOutput 然后先创建环境,然后设置并行度,然后 创建Table Api操作的环境 StreamTableEnvironment.create(env); ...
大数据_Flink_Java版_Table API 和 Flink SQL(4)_创建表_从文件读取数据---Flink工作笔记0084
添柴程序猿的专栏
03-28 656
然后我们来看,首先表,可以看到利用TableEnvironment环境,可以注册Catalog,并可以基于Catalog注册表 可以看到,表Table,是由一个"标识符" identifier来指定,由:Catalog名指定,数据库(database)名和对象名 这里Catalog名是目录,目录下面是数据库(database),数据库下面是对象名,也就是表名对吧. 然后再看表可以是常规表,也可以是虚拟表(视图 View等) 常规表,表示有实体数据的,而不是数据都在内存中存着,由外部系统来的数据,都可以..
Flink 数据分析批处理java代码和scala代码
XGkerwin1的博客
05-29 365
数据流分析批处理
flink入门代码演示(Java)
TreeCode的博客
02-01 442
引入坐标： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version> </dependency> <dependency>
FlinkTable中的美元符号 select$(“cID“) 在Java中如何表示
看一眼就少个bug的博客
01-07 1157
问题 Flink对Scala的支持性真的非常棒，让只能用Java的人泪流满面，比如说这几天在学习Flink Table 时遇到的问题 在看官网时突然看到select$(“cID”) 这个，这个美元符号是什么鬼？我就想去看源码，一直没有找到相关的支持。 直到我在学习如何将Table转换成DataStream调用其print()对其进行输出时， 发现问题解决很简单 解决问题 导入 import org.apache.flink.table.api.Expressions; 调用 Expressions.$("
大数据_Flink_Java版_Table API 和 Flink SQL(11)_动态表和持续查询---Flink工作笔记0091
添柴程序猿的专栏
04-03 449
然后我们来看动态表,和持续查询,可以看到 ,关系代数(表)也就是传统的关系型数据库,实际上就是批处理对吧, 事先把数据存起来,然后批量的查询得到结果,但是对于流处理来说, 所有数据,必须是等待的流式输入的数据,而且查询起来是一直查询,不停止. 然后我们看一下动态表,实际上就是把数据转换成表,但是这个过程是持续的. 我们可以看一下动态表,和持续查询,可以看到,首先流数据,转成动态表,然后 再把动态表转换成持续查询,然后查询的结果还是个动态表,然后把这个结果动态表再进行 转换成流输...
大数据_Flink_Java版_Table API 和 Flink SQL(1)_基本介绍和简单示例---Flink工作笔记0081
添柴程序猿的专栏
03-30 2321
然后我们再来看table api 以及 flink sql 我们看,table api 和flink sql我们来看看是什么东西,首先 我们之前说过ProcessFunction,这个是处理一些底层的数据会用到这个,之前我们知道 processFunction,可以对事件时间,做更精细的处理. 然后中间的DataStream这个我们也说过了,可以读入数据流,然后进行map,flatMap等的处理对吧 然后我们现在看再上一层的API,可以看到这里有个High-level Analyt..
大数据_Flink_Java版_Table API 和 Flink SQL(2)_基本程序结构---Flink工作笔记0082
添柴程序猿的专栏
03-30 627
然后我们前面做了个小案例,简单说了一下Table api怎么用,然后 说了一下flink sql怎么用,下面,我们来梳理一下流程: 可以看到这里: 首先StreamTableEnvironment tableEnv = ...这里//创建一个表执行环境 tableEnv.connect(...).createTemporaryTable("inputTable"); 这里connect(...)中相当于 去连接一个外部文件,或者去连接外部数据源系统,比如kafka对吧. 然后tableE..
FlinkSQL源码解析（二）Java SPI机制
Yuan_CSDF的博客
03-11 3286
在前面已经了解了FlinkSQL的转换流程，即如何从excuteSql(sql)如何转换为transformation，到任务的提交。 整体流程大致为：sqlNode --> Operation --> RelNode --> 优化 --> execNode --> Transformation 现在想更深入的了解，我们书写的sql语句是如何通过connecter属性连接kafka、hdfs等，为修改源码新增connector做铺...
java flink 读取ES
weixin_43813200的博客
07-20 839
/也可以选择setScrollIds()将多个scrollId一起使用。"*********************查询es结果""*********************查询es结果"*分页查询应设备应用安装列表-使用游标。2运行环境flinkstandalone模式。//查询数据searchResponse。*阿里云服务器搭建的ES服务。2、游标方式读取es。......
java搭建flink读取数据库 简单Demo实例
热门推荐
为什么简介是必填项？
07-02 1万+
一、搭建环境使用工具 idea 、gradle、jdk1.8、mysql数据库 具体idea 搭建gradle和项目环境略··········下边直接上代码 二、gradle依赖包设置 dependencies { implementation 'org.apache.flink:flink-java:1.8.0' implementation 'org.apache.flin......
【尚硅谷Java版】Flink中DataStream API篇之读取数据源
junR_980218的博客
07-15 1853
【尚硅谷Java版】Flink中DataStream API篇之读取数据源
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值