Flink 实践教程-进阶(5):排序(乱序调整)

如何使用Flink实现排行榜TopN Flink实现排行榜TopN 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

本文将为您详细介绍如何使用 Windowing TVF 配合聚合函数,实时调整乱序数据,经过聚合分析后存入 MySQL 中。

操作视频

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建消息队列 CKafka

进入 CKafka 控制台 [3],点击左上角【新建】,即可完成 CKafka 的创建,具体可参考 CKafka 创建实例 [4]。

创建 Topic:
进入 CKafka 实例,点击【topic 管理】>【新建】,即可完成 Topic 的创建,具体可参考 CKafka 创建 Topic [5]。

数据准备:
进入同子网的 CVM 下,启动 Kafka 客户端,模拟发送数据,具体操作参见 运行 Kafka 客户端 [6]。

# 启动 Kafka 生产者命令
bash kafka-console-producer.sh --broker-list 10.0.0.29:9092 --topic oceanus_advanced5_input --producer.config ../config/producer.properties
// 按顺序插入如下数据,注意这里数据时间是乱序的
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:29:16"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:29:30"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:29:50"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:29:59"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:29:43"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:30:09"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:30:01"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:29:50"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:30:15"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:30:50"}
{"order_id":"10000","num":1,"event_time":"2021-12-22 14:31:15"}

创建 MySQL 实例

进入 MySQL 控制台 [7],点击【新建】。具体可参考官方文档 创建 MySQL 实例 [8]。

-- 建表语句
CREATE TABLE `oceanus_advanced5_output` (
  `window_start`   datetime NOT NULL,
  `window_end`     datetime NOT NULL,
  `num`            int(11) DEFAULT NULL,
  PRIMARY KEY (`window_start`,`window_end`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

流计算 Oceanus 作业

1. 创建 Source
CREATE TABLE `kafka_json_source_table` (
  `order_id`    VARCHAR,
  `num`         INT,
  `event_time`  TIMESTAMP(3),
  -- 根据事件时间 `event_time` 设置 10s 的延迟水印
  WATERMARK FOR event_time AS event_time - INTERVAL '10' SECOND 
) WITH (
  'connector' = 'kafka',
  'topic' = 'oceanus_advanced5_input',     -- 替换为您要消费的 Topic
  'scan.startup.mode' = 'latest-offset',   -- 可以是 latest-offset / earliest-offset / specific-offsets / group-offsets / timestamp 的任何一种
  'properties.bootstrap.servers' = '10.0.0.29:9092',  -- 替换为您的 Kafka 连接地址
  'properties.group.id' = 'testGroup',     -- 必选参数, 一定要指定 Group ID
  'format' = 'json',
  'json.fail-on-missing-field' = 'false',  -- 如果设置为 false, 则遇到缺失字段不会报错。
  'json.ignore-parse-errors' = 'true'      -- 如果设置为 true,则忽略任何解析报错。
);
2. 创建 Sink
CREATE TABLE `jdbc_upsert_sink_table` (
    window_start  TIMESTAMP(3),
    window_end    TIMESTAMP(3),
    num           INT,
    PRIMARY KEY(window_start,window_end) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://10.0.0.158:3306/testdb?rewriteBatchedStatements=true&serverTimezone=Asia/Shanghai',         -- 请替换为您的实际 MySQL 连接参数
    'table-name' = 'oceanus_advanced5_output',  -- 需要写入的数据表
    'username' = 'root',                        -- 数据库访问的用户名(需要提供 INSERT 权限)
    'password' = 'Tencent123$',                 -- 数据库访问的密码
    'sink.buffer-flush.max-rows' = '200',       -- 批量输出的条数
    'sink.buffer-flush.interval' = '2s'         -- 批量输出的间隔
);
3. 编写业务 SQL
INSERT INTO `jdbc_upsert_sink_table`
SELECT
window_start,window_end,SUM(num) AS num
FROM TABLE(
    -- Windowing TVF
    TUMBLE(TABLE `kafka_json_source_table`,DESCRIPTOR(event_time),INTERVAL '1' MINUTES)
) GROUP BY window_start,window_end;
4. 查询数据

进入 MySQL 控制台 [7],单击右侧【登陆】快速登陆数据库,选择相应的库表查询数据。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JKvqsDZ5-1640712788701)(MySQL数据查询.png)]

笔者这里设置的 10s 的延迟水印,可以看到在 29~30、30~31时间段的数据统计是正确,并没有因为数据延时而出现漏统计的现象。31~32时间段的数据并没有统计出来,这是因为我们最后一条数据时间是2021-12-22 14:31:15,其水印时间为2021-12-22 14:31:05,小于窗口关闭时间,导致这段时间窗口还未关闭、未计算。

总结

  • WARTERMARK是跟随在每条数据上的一条特殊标签,而且只增不减(可以相等)。WARTERMARK并不能影响数据出现在哪个窗口(本例中由event_time决定),其主要决定窗口是否关闭(当水印时间大于窗口结束时间时,窗口关闭并计算)。
  • 如果数据延时过大,例如小时级别,可以配合allowedLateness算子合理性使用WARTERMARK,当达到水印结束时间时,窗口并不关闭,只进行计算操作,当时间到达allowedLateness算子设置的时间后,窗口才真正关闭,并在原先的基础上再次进行计算。如在allowedLateness算子设置的时间后才达到的数据,我们可以使用sideOutputLateData算子将迟到的数据输出到侧输出流进行计算。这里需要注意allowedLateness和sideOutputLateData算子目前只能使用 Stream API 实现。
  • 目前 flink 1.13 的 Windowing TVF 函数并不能单独使用,需配合AGGREGATE、JOIN、TOPN使用。建议优先使用 Windowing TVF 实现窗口聚合等功能,因为 Windowing TVF 更符合 SQL 书写规范,底层优化逻辑也更好。

参考链接

[1] Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview
[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298
[3] CKafka 控制台:https://console.cloud.tencent.com/ckafka/index?rid=1
[4] CKafka 创建实例:https://cloud.tencent.com/document/product/597/54839
[5] Ckafka 创建 Topic:https://cloud.tencent.com/document/product/597/54854
[6] 运行 Kafka 客户端:https://cloud.tencent.com/document/product/597/56840
[7] MySQL 控制台:https://console.cloud.tencent.com/cdb
[8] 创建 MySQL 实例:https://cloud.tencent.com/document/product/236/46433

流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓

在这里插入图片描述
在这里插入图片描述
关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

深入Flink CDC:当Join遇上乱序Changelog,SinkUpsertMaterializer如何确保最终结果正确? 当我们使用Flink SQL构建CDC管道时,经常会遇到一个看似简单却暗藏玄机的问题:当Join操作遇上乱序的Changelog事件流,系统如何保证最终结果的一致性?这就像试图在高速行驶的列车上拼凑一幅完整的拼图——碎片可能以任何顺序到达,但我们最终需要呈现一幅准确无误的画面。让我们从一个真实的电商场景切入:假设我们正在构建一个订单明细实时视图,需要将订单事件表(event)与商品维度表(dim)通过商品ID关联。:即使上游数据源保证了单分区的顺序性,跨分区的Join操作也会破坏这种保证。 阅读详情

相关推荐

Flink Sort-Shuffle:大数据流处理中的排序与洗牌

排序操作按照指定的键对数据进行排序,而洗牌操作将排序后的数据重新分发到不同的任务中。通过合理使用Sort-Shuffle操作,我们可以高效地处理大规模的数据集,提高数据处理的性能和可靠性。keyBy函数会将数据根据指定的键进行分组,并将具有相同键的数据发送到同一个任务中进行处理。Apache Flink是一个流式处理框架,提供了强大的排序和洗牌功能,让我们可以高效地处理大规模的数据集。在Flink中,Sort-Shuffle是通过两个核心操作实现的:排序(Sort)和洗牌(Shuffle)。

BugCrusher的博客 562

Flink DataSet聚合、分区、排序、关联转换算子的使用

目录1. 聚合转换算子1.1 reduce1.2 aggregate1.3 distinct2. 分区转换算子2.1 partitionByHash、partitionByRange、sortPartition2.2 mapPartition3. 排序转换算子3.1 MinBy / MaxBy、First-N4. 关联转换算子4.1 join、leftOuterJoin、rightOuterJoin、fullOuterJoin、cross、coGroup 1. 聚合转换算子 1.1 reduce pack

Bulut0907 3204

【Flink】Flink 快速排序在Flink中的应用案例 QuickSort

在这篇文章中,我们看到FLink引入快速排序的原因。

九师兄 715

Flink对keyBy汇总后的数据排序

val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val sourceStream = env.fromCollection(List( "a,1646150400000", "a,1646150403000",.

xkxdqj的博客 4214

Flink 水位线机制WaterMark实践 处理乱序消息

1 水位线(WaterMark)是一个时间戳,等于当前到达的消息最大时间戳减去配置的延迟时间,水位线是单调递增的,如果有晚到达的早消息也不会更新水位线,因为消息最大时间戳没变 2 新消息到达时,才计算新的水位线,如果水位线大于等于窗口的endTime(左闭右开)则触发窗口计算,反之继续接收后续消息;消息的EventTime大于等于窗口beginTime则保留,反之被丢弃 3消息的EventTime小于水位线时不一定被丢弃;消息的EventTime小于窗口beginTime时才会被丢弃 4 与wind.

Top5软件工程硕士,先后在京东、字节从事多年Java后端开发、实时和离线大数据开发 2538

Flink系列:事件时间乱序到达处理完整Demo例子

目录 效果 在192.168.40.159客户端输入 idea程序输出 基础 程序 StreamingWindowWatermark XdoctorxMapFunction XdoctorXAssignerWithPeriodicWatermarks XdoctorXWindowFunction 效果 在192.168.40.159客户端输入 idea程序输出 基础 Flink系列:WindowFunction使用方法 Flink系列:自定义Wi...

NIO4444 2091

Flink如何处理乱序数据?

参考文章:Flink如何处理乱序数据? 本章主要针对Flink Time中的Event Time、Ingestion Time、Processing Time以及Watermark进行详细讲解。 1 Time Stream数据中的Time(时间)分为以下3种。 Event Time:事件产生的时间,它通常由事件中的时间戳描述。 Ingestion Time:事件进入Flink的时间。 Processing Time:事件被处理时当前系统的时间。 这几种时间的对应关系如图1所示。 图1 

justlpf的专栏 4664

【Flink】flink 在watemark内数据乱序,会对数据使用event_time重新排序并输出嘛?

当 Watermark 到达 Flink 算子时,它会告知 Flink 算子,所有事件时间小于或等于 Watermark 的事件都已经到达。这是 Flink 处理乱序事件的一种机制,确保在事件时间上按照正确的顺序进行处理。当有乱序事件到达时,Flink 会等待一段时间,即 Watermark 的延迟时间,以确保收到的事件时间窗口已经关闭。这确保了在处理事件时间窗口时,数据按照事件时间的先后顺序进行处理,即使在 Watermark 内存在乱序的情况下也能得到正确的结果。

九师兄 229

Flink之Q&A在极端乱序下,Flink还能处理吗?

Flink通过水印策略优化、状态存储扩展及旁路输出等机制配合可应对大部分极端乱序场景。 但对于延迟无上限或要求绝对数据完整性的场景,需结合外部存储和离线计算实现最终一致性‌。 实际应用中需根据业务容忍度在延迟、吞吐量、计算成本之间进行权衡‌。

我的博客 790

VS2019+CAXACAD2023二次开发教程(一、环境搭建)

CAXACAD2023的二次开发相关文件和库都在的文件夹下。CAXACAD2023的默认开发环境是VS2019,如果是用VS2019的环境话,可以直接安装这个插件,安装好后就可以一键新建的项目,新建的项目会自动帮我们配置好所有的环境,并且生成必要的代码和初始的框架。(本来想用VS2022的,但配置环境太麻烦,用VS2022,增加一个环境变量是可以运行自带的例程的,但新建项目要配置的东西和环境太多,就放弃折腾了)

weixin_42968757的博客 4629

webview腾讯x5内核离线安装

离线集成腾讯TBS浏览器服务,彻底解决官方下载限流问题,永久免费

观千剑而后识器,操千曲而后晓声。 7924

Flink知识点(二)|Flink中是怎么处理乱序数据的

Flink 处理乱序数据的核心是采用 **事件时间(Event Time)** 语义,通过 **Watermark** 机制来推断事件时间进度并容忍一定范围的乱序。基于此,**窗口** 在 Watermark 越过窗口结束时触发计算,并通过 **Allowed Lateness** 允许延迟关闭以处理部分迟到数据。最终无法处理的迟到事件可通过 **侧输出(Side Output)** 收集,用于补偿或分析。整个过程需要配合状态管理、Checkpoint 等机制来保证结果的准确性与一致性。

0806_lay的博客 250

毫米波雷达之CFAR 目标检测

恒虚警率(CFAR)算法是一种广泛应用于雷达目标检测的算法,其主要目 标是减少由于杂波与回波之间强度不对称而引起的误报,以确保相对恒定的虚警 率。如图 3.4(a)所示,表示由距离单元组成的一维数据。在待测单元 D 周围选 择若干个背景杂波功率的蓝色单元构成参考滑窗,称为参考单元;而待测单元 D 相邻的若干个不用于背景估计的单元则称为保护单元。当参考单元和保护单元的 维度从一维扩展到二维时,相应的 CFAR 检测由一维 CFAR 演变为二维 CFAR 以处理参考窗口,如图 3.4 (b)所示。

m0_56120826的博客 4922

【原理】Flink如何巧用WaterMark机制解决乱序问题

这是彭文华的第91篇原创问:数据工程师最期望数据怎么来?答:按顺序来。MapReduce当初能用起来,就是因为Map阶段对所有数据都进行排序了,后面的Reduce阶段就可以直接用排序好的...

weixin_52346300的博客 1085

QGIS插件实战:用百度地图AOI数据做个城市公园分析,从下载到出图全记录

本文详细介绍了如何利用QGIS的百度地图AOI插件进行城市公园分析,从插件安装、数据获取到空间分析与可视化全流程。通过实战案例演示了公园面积统计、服务范围缓冲区分析及专题地图制作,帮助用户高效完成城市绿地评估工作。

weixin_30790841的博客 556

手把手教你用AirSim生成无人机训练数据集:RGB/深度图/分割图全攻略

本文详细介绍了如何使用AirSim仿真插件在UE4环境中生成无人机训练数据集,涵盖RGB、深度图和分割图等多种模态数据的采集与处理。通过实战指南,读者可以掌握环境配置、多模态数据采集、自动化流程设计及数据后处理等关键技术,为无人机视觉算法开发提供高质量训练数据。

weixin_29008805的博客 450

二、Flink流计算-乱序之时间

1、时间的重要性,弄明白为什么需要有序? 当iot设备上传的轨迹数据是乱序时,那业务在处理时就会有误,如计算超速就不准确。在直播带货中,每小时计算销售金额,并给主播按时结算报酬,如果时间乱了,把19:00的算到20:00了,那就是问题了。 对于流计算中的乱序,应该怎么排序呢? 在flink中,流计算的数据是事件,每个事件都会有自己的产生时间(如:每个gps点都会有自己的时间),所以流计算中的排序是按时间维度,Flink也是按时间排序来实现的。 2、Flink时间类型 1)事件产生的时间(.

lzzyok的专栏 1097

《UDS协议从入门到精通》系列——图解0x34:请求下载

上传下载类服务之0x34-请求下载,图解请求+响应格式,直观易懂,快速上手!!

车载系统攻城狮 4931

flink 三种时间机制_Flink如何巧用WaterMark机制解决乱序问题

「分享数据大咖实践经验 网罗职场大佬成长秘籍」数牛会即数据从业者社群,链接牛人,赋能他人。特设数字企业家(限创始人)、首席数据官(CEO/CDO/CIO)、数据技术综合群、数据中台与治理(DW/BI)、数据产品与运营、数据科学家(DA/ML)、品牌营销群(CMO/CGO)、生态合作群(渠道)。新建百万求职群、名企招聘群(CEO/HRD),文末扫码入群,请备注姓名/公司/职位/来由。数牛...

weixin_39979215的博客 382

15、运行语音识别应用:从Mac到微控制器的部署指南

本文详细介绍了如何在Mac上运行语音识别应用,并将其部署到Arduino Nano 33 BLE Sense和SparkFun Edge等微控制器设备上的完整流程。内容涵盖应用构建、设备特定的音频与输出实现、部署步骤、常见问题解决方案及进一步优化建议。通过本指南,开发者可快速实现基于TensorFlow Lite的嵌入式语音识别系统,并根据需求进行自定义修改与功能扩展。

l3m4n的博客 59

自私兽群优化器(SHO)详解:从生物本能到智能优化

自私兽群优化器(SHO)是一种受动物群体自私行为启发的智能优化算法。该算法模拟动物在捕食威胁下的两种行为:聚集行为(全局搜索)和自私行为(局部搜索),将优化问题的解空间映射为生存环境,候选解视为猎物个体。SHO通过安全性评估将猎物分为安全、危险和高危三类,分别采用不同的位置更新策略,并引入捕食者角色增加选择压力。相比传统优化算法,SHO具有无需梯度信息、自适应平衡探索与开发、参数简单等优势,特别适合高维复杂和多模态优化问题。算法通过马尔可夫链理论保证收敛性,已在工程设计和数据挖掘等领域展现出良好性能。

qq_42212808的博客 201

查处的数据如何乱序_Flink如何处理乱序数据?

本章主要针对Flink Time中的Event Time、Ingestion Time、Processing Time以及Watermark进行详细讲解。1 TimeStream数据中的Time(时间)分为以下3种。Event Time:事件产生的时间,它通常由事件中的时间戳描述。Ingestion Time:事件进入Flink的时间。Processing Time:事件被处理时当前系统的时间。这...

weixin_35377028的博客 326

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

大数据-122 - Flink Watermark 全面解析:事件时间窗口、乱序处理与迟到数据完整指南

Flink 的 Watermark(水印)机制 是事件时间窗口计算中最核心的概念之一,用于处理 乱序事件(Out-of-Order Events) 并确保窗口准确触发。它通过定义系统认为“之前事件已全部到达”的时间点,来决定窗口计算的时机。当 Watermark ≥ 窗口结束时间时,Flink 才会触发窗口聚合计算。通过配置 最大乱序时间(Bounded Out-of-Orderness),系统可容忍一定延迟,保证结果准确性。Watermark 的典型应用场景包括:物联网传感器流数据分析、用户行为日志分析、

谢谢你的喜欢 我们一起无限进步 6840

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Flink 内置 Watermark 生成器单调递增与有界乱序怎么选?

想把事件时间跑稳,第一步就是把 水位线(Watermark) 搞明白。本文聚焦 Flink 内置的两类经典策略:单调递增时间戳与固定迟到(有界乱序)。我们会讲清楚它们的适用场景、如何配置、与 Kafka 分区并行的关系、以及工程上的取值与排坑建议。

hello.reader 2764

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Flink DataStream使用EventTime和Watermarks解决乱序数据

场景分析        流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络延迟等原因,导致乱序的产生,特别是使用kafka的话,多个分区的数据无法保证有序。所以在进行window计算的时候,我们又不能无限期的等下去,必须要有个机制来保证一个特定的时间后,必须触发w...

Jiny_li的博客 1583

准备数据集用于flink学习

准备一百多万的交易数据,作为flink学习过程中的数据集

程序员欣宸的博客 2821
上一篇: Flink 实践教程:进阶(4):TOP-N
下一篇: 流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值