Flink SQL&API

本文介绍了Apache Flink的Table API和SQL在批流统一处理中的应用,涵盖DataStream到Table的转换,Table转为DataStream/DataSet的方法,以及关键概念如keyby、partitionby和overpartitionby。还涉及了Flink SQL的特性如LATERAL TABLE和多字符串解析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache Flink提供了两种顶层的关系型API,分别为Table APISQL,Flink通过Table API&SQL实现了批流统一。其中Table API是用于Scala和Java的语言集成查询API,它允许以非常直观的方式组合关系运算符(例如select,where和join)的查询。

将DataStream或者DataSet转化为Table对象
可以直接将DataStream或者DataSet转换为Table对象,之后可以使用Table API进行查询操作。
下面演示DataStream的转换,对于DataSet的转换类似。

// 获取StreamTableEnvironment
StreamTableEnvironment tableEnv = ...;
DataStream<Tuple2<Long, String>> stream = ...
// 将DataStream转换为Table对象,默认的字段为"f0", "f1"
Table table1 = tableEnv.fromDataStream(stream);
// 将DataStream转换为Table对象,默认的字段为"myLong", "myString"
Table table2 = tableEnv.fromDataStream(stream, "myLong, myString");

将表转换为DataStream或者DataSet
当将Table转为DataStream或者DataSet时,需要指定DataStream或者DataSet的数据类型。通常最方便的数据类型是row类型,Flink提供了很多的数据类型供用户选择,具体包括Row、POJO、样例类、Tuple和原子类型。

DataStream与DataSet

DataStream API和DataSet API是流处理和批处理的应用程序接口,当程序在编译时,生成JobGraph。编译完成后,根据API的不同,优化器(批或流)会生成不同的执行计划。根据部署方式的不同,优化后的JobGraph被提交给了executors去执行。

Flink SQL

flink的keyby和partition by


over partition by

# 解析多字符串
# http://apache-flink.147419.n8.nabble.com/Flink-SQL-Array-JSON-td4851.html
LATERAL TABLE

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值