feiyangailing的博客

FlinkSql系列8之TopN&去重文章目录FlinkSql系列8之TopN&去重前言一、TopN二、WindowTopN三、Deduplication总结前言本次主要记录FLinkSql中的TopN以及去重。一、TopN建立数据源表CREATE TABLE source_table5(--姓名`name` STRING,--班级`class_id` BIGINT,--分数`score` BIGINT,--事件时间`row_time` TIMESTAMP(3)

FlinkSql系列7之Temporal Join文章目录FlinkSql系列7之Temporal Join@[TOC](文章目录)前言一、Temporal Join是什么？二、测试步骤1.使用flinkcdc建立要Temporal Join的表2.建立kafka数据源表3.关联查询测试总结前言本次记录一下Temporal Join的具体实践用法一、Temporal Join是什么？Temporal Join又可以叫快照Join ,在实时的场景里面，比如说对于一本书的价格可能在一小时前是10，但是

FlinkSql系列6之 Interval Join前言本次我们来学习flinksql的Interval Join,这个方式主要是针对两个流在一定时间区间内的join,支持事件时间和处理时间，而且这个流每次只会产生一条数据，是一个完全的追加流。一、Interval Join是什么？Interval Join 可以让⼀条流去 Join 另⼀条流中前后⼀段时间内的数据。1.1 Inner Interval Join只有两条流中的满足时间区间符合，并且满足其他的join条件，这时候才会匹配的上并

FlinkSql系列5之 Regular Join文章目录FlinkSql系列5之 Regular Join前言一、Regular Join是什么？1.1 Inner Join1.2 Left Join1.3 Right Join1.4 Full Join二、实际测试记录1.Inner Join2.Left Join3.Right Join4.Full Join总结前言join，对于我们无论是实时数仓还是离线数仓都是不可缺少的一部分，我们经常需要涉及到多条流的join来扩充字段，筛选字段等。一、R

系列文章目录前言本节主要记录学习flinksql中的OVER聚合的使用，我们知道，对于GROUP BY来说，我们只能保留我们分组的字段，其他的字段是无法保留的，而对于OVER聚合来说我们可以实现保留全部的字段，不过在实际应用中，这个并不常用。一、Over聚合实际测试1.时间区间聚合创建源表CREATE TABLE source_table3(--订单id`order_id` BIGINT,--产品`product` BIGINT,--金额`amount` BIGINT,--支付时

FlinkSql系列3之窗口聚合和GROUP BY的相关区别文章目录FlinkSql系列3之窗口聚合和GROUP BY的相关区别前言一、window group aggregation & group by key总结前言使用window然后按照窗口可以进行聚合，但是其实使用group by单纯也是可以实现的，但是两者还是有很大区别的。一、window group aggregation & group by keyCREATE TABLE source_table(--维度数

FlinkSql系列2之语法糖使用文章目录FlinkSql系列2之语法糖使用前言一、grouping sets二、rollup三、cube计算总结前言本次主要学习flinksql中的window TVF模式下的语法糖的使用，简化我们一些写法！一、grouping sets创建源表CREATE TABLE source_table2(--年龄维度`age` STRING,--性别维度`sex` STRING,--用户id`user_id` BIGINT,--事件时间`rowtim

FlinkSql之窗口聚合文章目录FlinkSql之窗口聚合前言一、窗口聚合的分类二、窗口实际案例与实践2.1.滚动窗口（TUMBLE）group window aggregationwindow tvf方案（只支持Streaming）2. 2.测试运行2.3 滑动窗口（HOP）group window aggregationwindow tvf方案2.4 测试结果2.5 Session窗口（Session）2.6 测试结果2.7 渐进式窗口（CUMULATE）2.8 测试结果总结前言使用flink