Flinksql流式转换

本文档展示了如何使用FlinkSQL完成实时流处理任务,具体包括从Kafka读取原油实时售价和购买订单数据,利用Temporal Table Function进行实时计算订单金额,并将结果存入HBase及输出到Kafka。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用flinksql完成流式处理任务,具体需求如下。
需求描述:   
1)自定义kafka主题,使用flink从kafka中读取原油实时售价数据,注册成表;
数据如下
油品种类       价格        时间
LightCrudeOil    100    2020/11/25 09:00:00
MediumCrudeOil    90    2020/11/25 09:00:00
HeavyCrudeOil    78    2020/11/25 09:00:00
MediumCrudeOil    88    2020/11/25 10:45:00
MediumCrudeOil    89    2020/11/25 11:15:00
HeavyCrudeOil    76    2020/11/25 11:49:00
2)自定义kafka主题,从kafka中读取购买原油订单数据,注册成表;
油品种类     购买数量     时间
MediumCrudeOil    2    2020/11/25 10:15:00
LightCrudeOil    1    2020/11/25 10:30:00
HeavyCrudeOil    5    2020/11/25 10:32:00
MediumCrudeOil    3    2020/11/25 10:52:00
LightCrudeOil    6    2020/11/25 11:04:00
3)将kafka偏移量保存在checkpoint中,使用精确一次消费模式;
4)使用将原油实时售价数据注册成Temporal Table的方式进行计算 ;
5)现在要根据订单下单的时间和实时的单价表使用flinksql实时计算出订单的金额,字段包含油品种类、购买数量、订单金额、购买时间;
(例如10点52分的MediumCrudeOil原油价格要遵从10点45分时的价格而不是9点的价格)
6)使用flinksql实时计算MediumCrudeOil下单次数及其总订单金额;
7)将第5问的结果存入Hbase中,表名oilSales,列族f1,字段名自拟;
8)将第6问的结果输出到Kafka的aggSales主题,并查看输出结果。

 

代码:

import java.text.SimpleDateFormat
import java.util.{Date, Properties}

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.configuration.Configuration
import org.apache.flink.contrib.streaming.state.RocksDBStateBackend
impor

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值