flink hop window测试

已于 2022-03-02 18:55:04 修改
阅读量2.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink kafka hive
于 2022-03-02 17:30:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdntestuser1/article/details/123235558
本文通过一个实例详细介绍了如何在 Flink 中使用 Hop Window 进行数据处理，包括创建 Kafka topic、设置 Hive 表、定义 Watermark，并通过 SQL 查询演示了 Hop Window 的实时计算过程，解释了窗口开启、关闭的逻辑以及 Watermark 对窗口的影响。

简介：

以下从实例的角度来测试一遍hop window（滑动窗口），这里使用了官方文档中窗口函数的表结构及数据，从实际操作来看滑动窗口何时开启关闭，以及watermark对窗口的作用。

环境：

CDH6.3.1

FLINK1.4.0

CentOS7.6

PYTHON3.7.6

表结构及数据引用：

窗口函数 | Apache Flink

测试步骤:

1. 在kafka中创建topic:

# cd /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/

# ./kafka-topics.sh --create --zookeeper node1.example.com:2181,node2.example.com:2181,node3.example.com:2181 --replication-factor 1 --partitions 1 --topic bid

2. 在sql client中创建source表：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink hop window（滑动窗口）详解
chanyue123的博客
08-25 313
讲解flink hop window的新旧语法，并且举例说明window的第一个窗口的范围取值，何时触发等问题
Flink原理与实现：Window的实现原理
微信搜：import_bigdata，大数据领域硬核原创作者
04-21 1166
在阅读本文之前，请先阅读Flink 原理与实现：Window机制，这篇文章从用户的角度，对Window做了比较详细的分析，而本文主要是从Flink框架的实现层面，对Window做另一个角度的分析。 首先看一个比较简单的情况，假设我们在一个KeyedStream上做了一个10秒钟的tumbling processing time window，也就是说，每隔10秒钟窗口会触发一次，即： dat......
Flink源码分析--(二)FLink SQL Window功能
LS_ice的专栏
05-31 5799
文章目录一、window功能概述二、window分类及整体流程三、 创建WindowOperator算子四、WindowOperator处理数据 一、window功能概述 Flink窗口具有多种类型，包括基于计数的滑动窗口和滚动窗口，基于系统时间和事件时间的滑动窗口、滚动窗口以及会话窗口，从而把源源不断产生的数据根据不同的条件划分成一段一段有边界的数据区间，使用户能够利用窗口功能实现很多复杂的统...
【Flink 实战篇】窗口实战：TUMBLE、HOP、SESSION
Code · Cloud · Think · Repeat
03-23 2849
在流式计算中，流通常是无穷无尽的，我们无法知道什么时候数据源会继续 / 停止发送数据，所以在流上处理聚合事件（count、sum 等）的处理方式与批处理中的处理方式会有所差异。在流上一般用窗口（Window）来限定聚合的范围，例如 “过去 2 分钟网站点击量的计数”、“在最近 100 个人中点赞这个视频的总人数”。窗口的概念相当于帮我们收集了一张有限数据的动态表，我们可以对表中的数据进行聚合计算。
Flink 之 滚动窗口/滑动窗口/会话窗口/OVER窗口
实践出真知
08-05 3313
数据处理方式流式计算：数据是连续不断地到达的，OVER窗口函数会在数据流中实时地计算窗口结果。每当新数据到达时，窗口计算会实时更新。批计算：数据是一次性读取并处理的，OVER窗口函数会在整个数据集上一次性计算窗口结果。所有数据都读取完毕后，窗口计算才会开始。计算延迟流式计算：适用于需要低延迟、实时更新的场景。计算结果会随着数据的到达实时更新。批计算：适用于数据量较大、对计算延迟要求不高的场景。计算结果在所有数据读取完毕后一次性计算。状态管理流式计算：需要持续管理状态，因为数据是不断到达的。
Flink窗口——window
诸葛子房的博客
09-26 224
时间窗口(按时间进行统计) 个数窗口(按个数进行统计) 参考：https://blog.youkuaiyun.com/weixin_43291055/article/details/101421939 会话窗口 参考：https://blog.youkuaiyun.com/lmalds/article/details/51604501 ...
【博学谷学习记录】超强总结，用心分享| Flink的窗口机制
我爱骑呆马的专栏
05-07 599
无限制的流式计算，比如：wordcount案例，它没有任何外部的限制条件，这种情况不多。对于第二种情况来说，我们需要加上额外的限制条件。最常用的限制条件就是。特点：上一个窗口的结束就是下一个窗口的开始，数据不重复、也不丢失。有限制的流式计算，比如：统计早高峰时间内经过某个道路的车辆数。滚动窗口 ：窗口大小 = 滚动距离（时间间隔）这个时间段，在程序中，就用一个窗口来表示。这就是为什么要学窗口的原因了。渐进式窗口（cumulate）聚合窗口（over）
flink window 框架详细解读
weixin_40954192的博客
12-07 805
flink window整体框架解读，dataStream window / sql window 函数使用说明，window tvf,group window over window最全使用，window tvf解决替代场景及优化地方
Flink基础系列32-Table API和Flink SQL之窗口
只是甲的博客
11-05 573
文章目录一.窗口1.1 分组窗口（Group Windows）1.1.1 滚动窗口1.1.2 滑动窗口1.1.3 会话窗口1.2 Over Windows1.3 SQL 中窗口的定义1.3.1 Group Windows1.3.2 Over Windows二.案例参考: 一.窗口   时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间 段做计算了。下面我们就来看看 Table API 和 SQL 中，怎么利用时间字段做窗口操作。   在 Table API 和 SQL 中，主要有两
万字详述 Flink SQL 4 种时间窗口语义！（收藏）
数据一哥，公众号：数据社
06-01 9862
DML：窗口聚合大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下：⭐ 先介绍 Flink SQL 支持的 4 种时间窗口⭐ 分别详细介绍上述的 4 种时间窗口的功能及 SQL 语法⭐ 结合实际案例介绍 4 种时间窗口首先来看看 Flink SQL 中支持的 4 种窗口的运算。⭐ 滚动窗口（TUMBLE）⭐ ...
flink杂记
weixin_43319279的博客
07-31 546
Flink CEP复杂事件处理 FLKINK复杂事件处理CEP ，基于流处理技术 将系统数据看做不同事件，寻找不同事件的相互关系，来列出关系序列库，并利用过滤和关联和聚合等技术，最终由简单的事件产生复杂事件，使用模式规则来对重要数据进行追踪和分析， 从实时数据中挖掘隐藏的数据信息。 复杂事件的用途： 反欺诈，网络欺诈，设备故障检测 Flink基于DataStream Api 来做 FlinkCEP组件栈 在idea项目中导入maven配置 org.apache.flink flink-cep-scala_
【Flink】Apache Flink 1.13.0 正式发布，流处理应用更加简单高效
九师兄
08-11 442
1.概述 转载：Apache Flink 1.13.0 正式发布，流处理应用更加简单高效 侵权可删，这里是做个笔记，防止找不到。 Flink 1.13 发布了！Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。这一版本中，Flink 的一个主要目标取得了重要进展，即让流处理应用的使用和普通应用一样简单和自然。Flink 1.13 新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单，用户仅需要修改并发度即可。这个版本还包括一系列重要改动使用户可以更好的理解流作业的性能.
Flink SQL 批处理使用HOP详解
Scapel的博客
03-26 4349
Flink SQL 批处理使用HOP详解 介绍 Flink SQL中分组窗口函数中有一个HOP(time_attr, hop interval 滑动间隔, fixed duration 窗口时间)，适合的场景基本是每隔多长时间统计一次某个时间段内的指标，例如，统计每个用户过去1分钟（窗口时间）的单击次数，每30秒（滑动间隔）更新1次。在流式计算中比较容易理解，但是批处理使用这个函数就会让人摸不着头脑。下面通过一个例子来解释。 表结构及数据 SQL INSERT INTO print SEL
Flink知识点总结
weixin_70137450的博客
10-14 943
flink
Flink TableAPI和SQL（十）窗口（Window）
weixin_45417821的博客
05-07 870
文章目录窗口表值函数（Windowing TVFs，新版本）滚动窗口（TUMBLE）滑动窗口（HOP）累积窗口（CUMULATE） 有了时间属性，接下来就可以定义窗口进行计算了。我们知道，窗口可以将无界流切割成大小有限的“桶”（bucket）来做计算，通过截取有限数据集来处理无限的流数据。在 DataStream API 中提供了对不同类型的窗口进行定义和处理的接口，而在 Table API 和 SQL 中，类似的功能也都可以实现。 窗口表值函数（Windowing TVFs，新版本） 从 1.13 版本开
Apache Flink：流处理中Window的概念
lmalds的专栏
06-07 1万+
Apache Flink：流处理中Window的概念1、什么是Window？有哪些用途？ 下面我们结合一个现实的例子来说明。我们先提出一个问题：统计经过某红绿灯的汽车数量之和？ 假设在一个红绿灯处，我们每隔15秒统计一次通过此红绿灯的汽车数量，如下图： 可以把汽车的经过看成一个流，无穷的流，不断有汽车经过此红绿灯，因此无法统计总共的汽车数量。但是，我们可以换一种思路，每隔15秒，我们都将与
Flink的Window(窗口计算)
weixin_45316851的博客
05-16 1676
Window(窗口计算) 窗口计算是流计算的核心，通过使用窗口对无限的流数据划分成固定大小的 buckets，然后基于落入同一个bucket（窗口）中的元素执行计算。Flink将窗口计算分为两大类。 一类基于keyed-stream窗口计算。 stream .keyBy(...) <- 分组 .window(...) <- 必须: "assigner" 窗口分配器 [.trigger(...)]
Flink 最锋利的武器：Flink SQL 入门和实战
热门推荐
微信搜：import_bigdata，大数据领域硬核原创作者
06-21 8万+
一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015...
滑动窗口
weixin_33955681的博客
11-14 1904
本页目录 语法 案例 滑动窗口（HOP），也被称作 Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有两个参数：size 和slide。size为窗口的大小，slide为每次滑动的步长。如果slide < size，则窗口会重叠，每个元素会被分配到多个窗口。如果 slide = size，则等同于滚动...
flink sql hop lag结合使用
最新发布
01-14
在流处理框架 Apache Flink 中，`HOP` 窗口用于定义滑动时间窗口，而 `LAG` 函数则允许访问当前行之前的一行或多行的数据。两者可以结合起来实现复杂的分析需求。 #### 定义 Hop 窗口 通过指定事件时间和窗口大小...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FightingFreedom

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值