Flink 实践教程-进阶(3):窗口操作

Flink SQL中的窗口函数 1 OVER窗口       OVER窗口(OVER Window)是传统数据库的标准开窗,不同于GROUP BY Window,OVER Window中的每一个元素都对应一个窗口。窗口元素是与当前元素相邻的元素集合,流数据元素分布在多个窗口中。在Flink SQL Window的实现中,每个触发计算的元素所确定的行,都是该元素所在窗口的最优一行。       在应用OVER Window 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

本文将为您详细介绍如何实时获取 CKafka 中的 JSON 格式数据,经过 HOP WINDOW(滑动窗口)函数聚合分析后存入 ClickHouse 中。

操作视频

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建消息队列 CKafka

进入 CKafka 控制台 [3],点击左上角【新建】,即可完成 CKafka 的创建,具体可参考 CKafka 创建实例 [4]。

创建 Topic:
进入 CKafka 实例,点击【topic 管理】>【新建】,即可完成 Topic 的创建,具体可参考 CKafka 创建 Topic [5]。

数据准备:
进入同子网的 CVM 下,启动 Kafka 客户端,模拟发送数据,具体操作参见 运行 Kafka 客户端 [6]。

# Kafka 客户端启动生产者命令
bash kafka-console-producer.sh --broker-list 10.0.0.29:9092 --topic oceanus_advanced3_input --producer.config ../config/producer.properties
// 数据格式
{
  "id": 1,
  "amount": 10,
  "times": "2021-10-01 10:00:00"
}

创建 ClickHouse 集群

进入 ClickHouse 控制台 [7],点击左上角【新建集群】,完成 ClickHouse 集群的创建。具体可参考 ClickHouse 快速入门 [8]。

注意:创建 Oceanus 集群和 ClickHouse 集群时所选的 VPC 建议相同。

创建 ClickHouse 表:
  1. 进入与 ClickHouse 集群同 VPC 的某一台 CVM 下,安装 ClickHouse 客户端(下载该客户端需连通外网),具体操作步骤参考 ClickHouse 快速入门 [8]。
# 下载 ClickHouse-Client 命令
wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-client-20.7.2.30-2.noarch.rpm
wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-20.7.2.30-2.x86_64.rpm

# 安装客户端
rpm -ivh *.rpm

# 使用 tcp 端口登陆 ClickHouse 集群,IP 地址可通过控制台查看
clickhouse-client -hxx.xx.xx.xx --port 9000 -m
  1. 登陆 ClickHouse 集群,建表。
CREATE TABLE default.oceanus_advanced3_output1 on cluster default_cluster (
    win_start   TIMESTAMP,
    win_end     TIMESTAMP,
    id          Int8,
    amount_all  Int16,
    Sign        Int8) 
ENGINE = ReplicatedCollapsingMergeTree('/clickhouse/tables/{layer}-{shard}/default/oceanus_advanced3_output1', '{replica}',Sign) 
ORDER BY (win_start,win_end,id);

Oceanus 作业

1. 创建 Source
CREATE TABLE `kafka_json_source_table` (
  `id`      INT,
  `amount`  INT,
  `times`   TIMESTAMP(3), 
   WATERMARK FOR times AS times - INTERVAL '3' SECOND 
) WITH (
  'connector' = 'kafka',
  'topic' = 'oceanus_advanced3_input',      -- 替换为您要消费的 Topic
  'scan.startup.mode' = 'earliest-offset',  -- 可以是 latest-offset / earliest-offset / specific-offsets / group-offsets / timestamp 的任何一种
  'properties.bootstrap.servers' = '10.0.0.29:9092',  -- 替换为您的 Kafka 连接地址
  'properties.group.id' = 'testGroup',      -- 必选参数, 一定要指定 Group ID
  'format' = 'json',
  'json.fail-on-missing-field' = 'false',   -- 如果设置为 false, 则遇到缺失字段不会报错。
  'json.ignore-parse-errors' = 'true'       -- 如果设置为 true,则忽略任何解析报错。
);
2. 创建 Sink
CREATE TABLE `clickhouse_sink` (
    `win_start`  TIMESTAMP(3),
    `win_end`    TIMESTAMP(3),
    `id`         INT,
    `amount_all` INT,
     PRIMARY KEY (win_start,win_end,id) NOT ENFORCED
) WITH (
    'connector' = 'clickhouse',
    'url' = 'clickhouse://10.0.0.178:8123',
    'database-name' = 'default',
    'table-name' = 'oceanus_advanced3_output1',
    'table.collapsing.field' = 'Sign'   -- CollapsingMergeTree 类型列字段的名称
);
3. 编写业务 SQL
INSERT INTO clickhouse_sink
SELECT
HOP_START(times,INTERVAL '30' SECOND,INTERVAL '1' MINUTE) AS win_start,  -- 滑动窗口的开始时间
HOP_END(times,INTERVAL '30' SECOND,INTERVAL '1' MINUTE)   AS win_end,    -- 滑动窗口的结束时间
id,
SUM(amount)  AS amount_all
FROM kafka_json_source_table
-- 这里使用滑动窗口函数和用户 id 进行分组聚合,统计了每分钟各用户的视频点击量,每30s更新一次。
GROUP BY HOP(times,INTERVAL '30' SECOND,INTERVAL '1' MINUTE),id;

新版 Flink 1.13 集群 SQL 作业不需要用户自己选择内置 Connector

总结

HOP WINDOW(滑动窗口)将元素分配到固定长度的窗口中,窗口的大小由窗口大小参数来配置,另一个窗口滑动参数控制滑动窗口开始的频率。HOP WINDOW(滑动窗口)保持窗口大小(Size:INTERVAL '1' MINUTE)不变,每次滑动指定的时间周期(Slide:INTERVAL '30' SECOND),因而允许窗口之间的相互重叠。

Slide 的大小决定了 Flink 创建新窗口的频率。

  • 当 Slide 小于 Size 时,相邻窗口会重叠,一个时间会被分配到多个窗口。
  • 当 Slide 大于 Size 时,可能会导致有些事件被丢弃。
  • 当 Slide 等于 Size 时,等于是 TUMBLE WINDOW(滚动窗口)。

更多时间窗口函数请参考 Oceanus 官方文档 [9]。

参考链接

[1] Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview
[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298
[3] CKafka 控制台:https://console.cloud.tencent.com/ckafka/index?rid=1
[4] CKafka 创建实例:https://cloud.tencent.com/document/product/597/54839
[5] Ckafka 创建 Topic:https://cloud.tencent.com/document/product/597/54854
[6] 运行 Kafka 客户端:https://cloud.tencent.com/document/product/597/56840
[7] ClickHouse 控制台:https://console.cloud.tencent.com/cdwch?region=ap-guangzhou
[8] ClickHouse 快速入门:https://cloud.tencent.com/document/product/1299/49824
[9] 时间窗口函数:https://cloud.tencent.com/document/product/849/18077

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~
关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

Flink 之 滚动窗口/滑动窗口/会话窗口/OVER窗口 数据处理方式流式计算:数据是连续不断地到达的,OVER窗口函数会在数据流中实时地计算窗口结果。每当新数据到达时,窗口计算会实时更新。批计算:数据是一次性读取并处理的,OVER窗口函数会在整个数据集上一次性计算窗口结果。所有数据都读取完毕后,窗口计算才会开始。计算延迟流式计算:适用于需要低延迟、实时更新的场景。计算结果会随着数据的到达实时更新。批计算:适用于数据量较大、对计算延迟要求不高的场景。计算结果在所有数据读取完毕后一次性计算。状态管理流式计算:需要持续管理状态,因为数据是不断到达的。 阅读详情

相关推荐

Flink 专题 -3窗口滚动和滑动操作

Flink流操作-窗口滚动和滑动操作 Flink存在两种窗口操作,分别为滚动操作和滑动操作,两者主要的区别在于,滚动操作不会重叠,而滑动操作则会让数据产生重叠 。 https://github.com/soniclavier/bigdata-notebook/tree/master/flink/src/main/scala/com/vishnu/flink/streaming 窗口需求 在Stre...

augus_one的博客 6978

Flink的窗口机制

tumble(滚动窗口)hop(滑动窗口)session(会话窗口)cumulate(渐进式窗口)Over(聚合窗口)

sijiwang95的博客 2373

Flink窗口理论到实践

Flink窗口理论到实践可以分为以下几个关键部分进行阐述:一、理论概述二、实践应用三、注意事项。

zgw555555的专栏 1257

Flink对接Kafka的topic数据消费offset设置参数

开始阅读位置# config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是: `group-offsets`:从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。 `earliest-offset`:从可能的最早偏移量开始。 `latest-offset`:从最新的偏移量开始。 `timestamp`:从用户提供的每个分区的时间戳开始。 `specific-offsets`:从用户提供的每个分区的特定偏移量开始。 默认选项值group-o.

zwahut的专栏 5504

Flink 窗口计算

在当今大数据时代,实时数据处理的需求日益增长,Flink 的窗口计算在这一领域中发挥着至关重要的作用。 窗口计算使得我们能够将无界的数据流切分成有意义的片段,从而进行特定时间段内的数据聚合和分析。

sxsAffable的博客 1215

Flink:窗口操作

一、窗口操作 1、Keyed Windows stream .keyBy(...) <- keyed versus non-keyed windows .window(...) <- required: "assigner" [.trigger(...)] <- optional: "trigger" (else default trigger) [.evi

qq_24325581的博客 459

ClickHouse时间序列数据处理

时间窗口是指在一定时间范围内对时间序列数据进行分析的窗口。以上代码案例包括创建表、插入数据、时间窗口聚合、时间序列数据采样、时间序列数据过滤和时间序列数据变换等操作。提供了丰富的功能和用法来处理时间序列数据,包括时间窗口聚合、数据采样、数据过滤和数据变换等。中,时间序列数据处理是一个重要的应用场景,它涉及到对时间序列数据进行聚合、过滤、变换和分析等操作。时间序列数据变换是指对原始数据进行一定的转换操作,例如数据平滑、差分、归一化等。时间窗口聚合是指在指定的时间窗口内对数据进行聚合计算。函数来指定时间窗口。

互联网知识分享 1599

Flink实时读取Kafka数据批量聚合(定时按数量)写入Mysql.rar

Flink实时读取Kafka数据批量聚合(定时/按数量)写入Mysql源码+kafka安装包+zookeeper安装包

Flink窗口理论到实践 | 大数据技术

⭐⭐个人主页🔎哆啦A梦撩代码🎉欢迎关注🔎👍⭐️留言📝

小知识吖 1万+

Windows下Fortran调用CGNS库的完整踩坑实录:从HDF5、CMake到VS2019+IVF2020的保姆级配置

本文详细记录了在Windows环境下使用Fortran调用CGNS库的完整配置过程,涵盖HDF5安装、CMake配置、VS2019与IVF2020集成等关键步骤。通过实战经验分享,帮助开发者解决常见编译错误和链接问题,实现高效的Fortran与CGNS库集成。

weixin_28707739的博客 351

Cesium中实现阴影率分析

看到群里有人在研究这个,所以看了一下。主要是模仿超图的,实现原理超图有做回答:但其实超图的这个实现方式还是过于复杂,原因是:既然是获取太阳的日照阴影,而Cesium中原本就存在太阳,且能投射阴影,因此其实并不需要再次计算太阳位置并计算视锥获取深度图,直接使用Cesium原生的太阳深度图即可。

weixin_43481439的博客 2217

Flink事件时间与窗口操作实战指南

这段代码展示了如何使用Apache Flink进行流处理,特别是基于事件时间(EventTime)的数据处理。代码的主要步骤包括环境设置、数据源读取、数据转换、窗口操作以及结果输出。通过设置事件时间语义、生成水位线和处理乱序数据,代码实现了对传感器数据的实时处理。窗口操作包括滚动窗口、滑动窗口和会话窗口,允许处理迟到数据并将其写入侧输出流。最终,代码展示了如何对窗口内的数据进行聚合,并输出结果。这段代码是学习Flink流处理的基础示例,涵盖了事件时间、水位线、窗口操作等核心概念。

渣渣盟的博客 3735

从理论到实践:全面解析Cmk(设备能力指数)的应用与优化

本文全面解析了设备能力指数Cmk的核心概念、计算逻辑与关键应用场景。Cmk作为衡量设备本身固有加工能力的黄金标准,在设备验收、大修后验证及过程能力根因分析中至关重要。文章通过实战案例,详细阐述了执行Cmk测试的“五大固定”黄金法则、数据计算分析方法,并提供了Cmk不达标时的系统性排查与优化策略,帮助制造企业实现预防性质量管理。

jump7的博客 530

Flink窗口

文章目录窗口的概念窗口的分类按照驱动类型分类(1)时间窗口(2)计数窗口(Count Window)按照窗口分配数据的规则分类(1)滚动窗口(Tumbling Windows)(2)滑动窗口(Sliding Windows)(3)会话窗口(Session Windows)(4)全局窗口(Global Windows)窗口API概览按键分区窗口(Keyed)和非按键分区(Non-Keyed)代码中窗口API的调用窗口分配器(Window Assigners)1、时间窗口(1)滚动处理时间窗口(2)滑动处理时间

yingzi的技术博客 8802

MATLAB实战:64QAM通信系统仿真全流程解析(附误码率优化技巧)

本文提供了一份完整的64QAM通信系统MATLAB仿真实践指南。从系统架构设计、发射端格雷码映射与脉冲成形,到信道建模、接收端同步与均衡,详细解析了全链路实现流程。文章重点分享了误码率曲线与理论值偏差的排查清单和深度优化技巧,帮助工程师构建工业级精度的仿真模型,解决高阶调制系统仿真的核心难题。

jenkins8butler的博客 404

AttributeError: module ‘numpy‘ has no attribute ‘int‘解决方案

本文主要介绍了AttributeError: module ‘numpy’ has no attribute 'int’解决方案,希望能对使用numpy的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 方案一 2.2 方案二

weixin_43178406的博客 28万+

秒懂Flink:Flink窗口操作与状态管理完全解析

想要掌握Apache Flink流处理的核心技术吗?😊 本文将为您全面解析Flink窗口操作与状态管理两大核心功能,帮助您快速理解Flink如何实现高效的实时数据处理!作为大数据处理领域的明星框架,Flink凭借其强大的窗口机制和状态管理能力,在实时计算场景中脱颖而出。 ## 📊 Flink窗口操作:实时数据聚合的利器 Flink窗口操作是流处理中实现数据聚合的关键技术,它允许我们在无界数

gitblog_00198的博客 1008

手把手实现STM32+ESP8266+原子云服务器+手机APP应用——第一节-ATK-ESP8266 WIFI模块通过USB-TTL实现连接原子云服务器与手机APP互相通信

本节实现ATK-ESP8266 WIFI模块通过USB-TTL实现连接原子云服务器与手机APP通信。具体来说,本节使用串口CH340(USB-TTL)连接正点原子ATK-ESP8266 WIFI模块,通过AT命令实现连接原子云服务器与手机APP互相通信,实现硬件设备(WIFI模块)与云服务器和手机APP的互相通信。后面章节不用串口CH340(USB-TTL),通过编写单片机程序实现数据远程互相通信,并介绍手机APP的程序设计。单片机任意款即可,STM32F1系列,F4系列,H系列等都可以。本系列为(手把手实

嵌入式阿齐Archie 8424

Flink窗口操作全解析:从事件时间到会话窗口

本文介绍了如何使用Apache Flink进行窗口操作,详细解释了代码的各个部分。首先,导入了Flink相关的包,包括事件时间处理、窗口分配器、时间定义以及自定义的数据源ClickSource。接着,定义了主函数并获取了Flink的流执行环境。然后,从自定义的数据源获取数据,并为其分配时间戳和水位线。代码展示了多种窗口操作,包括基于事件时间的滚动窗口、基于处理时间的滚动窗口、基于事件时间的滑动窗口、基于事件时间的会话窗口以及滑动计数窗口。每种窗口操作都有其特点、适用场景和计算方式。此外,文章还拓展了窗口操作

渣渣盟的博客 2052

【AUTOSAR-Nm】-2.2-通过CAN/Lin...信号报告Nm状态机的跳转

如何通过Can/Lin/Fr/Udp/J1939信号,获取每个通道对应状态机的跳转信息:“前一次状态”和“当前状态”。

「汽车电子助手」的博客 2467

【JAVA】海康威视门禁机ISAPI接口开发,人脸上传更新接口

本文实现了一个HTTP工具类HTTPClientUtil,提供GET/POST/PUT/DELETE请求方法,支持摘要认证。工具类封装了Apache HttpClient,设置连接超时、最大连接数等参数,通过DeviceInfoDTO传递设备IP、端口和认证信息。文中还展示了两个应用示例:userInfoAdd()用于添加人员信息,FaceDataRecordAdd()用于添加人脸数据,均通过POST请求与设备ISAPI接口交互。该工具类简化了HTTP请求处理,支持设备管理系统的集成开发。

qq_27246521的博客 590

Flink 窗口最全汇总

将要计算的数据限制一个范围,统计一个范围内的数据。将无界的数据切割成有届的数据。

m0_72566748的博客 3566

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

flink的窗口

窗口是flink中重要的概念,为了方便高效的处理无界流,将数据切成有限的数据块进行处理;

天龙八部 2090

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Flink 核心知识总结:窗口操作、TopN 案例及架构体系详解

在大数据处理领域,Flink 凭借其卓越的流批一体处理能力、高效的状态管理以及精准的时间语义把控,成为众多开发者应对复杂数据场景的得力工具。本文将围绕 Flink 的三大关键板块展开深度剖析,即 FlinkSQL 的窗口操作(涵盖滚动、滑动、累积窗口以及不同时间语义下的应用)、窗口 TopN 需求实现案例,以及 Flink 架构体系(详细解读各个核心组件及概念),旨在为读者清晰勾勒 Flink 技术框架的全貌,助力深入理解与高效运用。

天冬忘忧的博客 1916

Flink入门-Window窗口

Flink入门-Window窗口

似水_逆行的博客 2365

3. Flink 窗口

窗口是处理无限流的核心。ProcessWindowFunction获得一个包含窗口所有元素的Iterable,以及一个可以访问时间和状态信息的Context对象,这使得它比其他窗口函数提供更大的灵活性。窗口按照驱动类型可以分成时间窗口和计数窗口,而按照具体的分配规则,又有滚动窗口、滑动窗口、会话窗口、全局窗口四种。窗口函数定义了要对窗口中收集的数据做的计算操作,根据处理的方式可以分为两类:增量聚合函数和全窗口函数。计数窗口很好理解,当窗口的数据量达到了设定的窗口大小时,窗口函数就会被触发。

cl2010abc的专栏 1377
上一篇: 【大咖直播】Elastic 企业搜索实战工作坊(第二期)
下一篇: Flink 实践教程:进阶(4):TOP-N
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值