Flink系列：事件Time时间分类（指定事件时间）

最新推荐文章于 2025-11-02 21:51:04 发布
原创 最新推荐文章于 2025-11-02 21:51:04 发布 · 2.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Apache Flink中如何对事件时间进行分类，重点在于如何将Stream数据中的时间指定为EventTime，并讨论了处理时间与事件时间的区别。示例代码展示了设置Stream时间特性的方法。

时间分类

Stream数据中的Time（时间〉有下面3种：
 
• Event Time
事件产生的时间
 
• Ingestion Time
事件 进入Flink的时间
 
• Processing Time
事件 被处理时当前系统的时间
 

 

流转图 

 

指定Stream数据中的Time

/默认是处理时间为基础，可以修改：
env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime); //默认 env.setStreamTimeCh

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink系列：事件Time时间乱序到达处理方法
NIO4444
06-30 6854
到达时间无序 kafka的数据，不一定按照时间产生的时间到达flink，为了解决这个问题，需要引入Watermark 时间到达的3中情况 顺序到达 乱序到达 并发到达 Watermark 如果指定多个Watermark，后面的将覆盖前面的。 两种方法 基于时间周期（推荐） 周期性（默认100ms）生成和发送Watermark，定义一个最大允许乱序时间。 基于特定事件 如果发生特定事件，则生成和发送Watermark ...
Flink系列：事件时间乱序到达处理完整Demo例子
NIO4444
07-05 1966
目录 效果 在192.168.40.159客户端输入 idea程序输出 基础 程序 StreamingWindowWatermark XdoctorxMapFunction XdoctorXAssignerWithPeriodicWatermarks XdoctorXWindowFunction 效果 在192.168.40.159客户端输入 idea程序输出 基础 Flink系列：WindowFunction使用方法 Flink系列：自定义Wi...
Flink入门(十二)自定义eventTime
baifanwudi的专栏
05-27 3079
kafka消息是自带timestamp的，但有的时候需要自定义eventTime，直接上代码 final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(); env.setParallelism(2); //这里我采用eventTi...
Flink指定时间字段
qq_34125992的博客
05-24 429
计算列可以使用其它列的数据，计算出其所属列的数值。如果数据源表中没有TIMESTAMP类型的列，可以使用计算列方法从其它类型的字段进行转换。
Flink 时间语义深度解析：事件时间、处理时间与 ingestion time 区别
最新发布
2501_93877319的博客
11-02 243
事件时间是数据在。
Flink SQL之ProcessTime与EventTime的使用
蔡政洁的博客
04-08 8838
目录（1）时间属性（2）ProcessTime（2.1）在创建表的 DDL 中定义（2.2）在 DataStream 到 Table 转换时定义（3）EventTime（3.1）在创建表的 DDL 中定义（3.2）在 DataStream 到 Table 转换时定义 （1）时间属性 处理时间 指的是执行具体操作时的机器时间 事件时间 指的是数据本身携带的时间。这个时间是在事件产生时的时间。 时间属性可以是每个表模式的一部分。当通过CREATETABLE DDL或创建表格时定义。一旦定义了时间属性，就可以
Flink的四大基石之---Flink Time 时间 以及 时间分类详解
LBJ_小松鼠的博客
03-08 594
1. Flink Time时间的分类 简介: 在Flink流计算中，关于时间语义支持三种，其中2种语义最为关键： 1）、处理时间ProcessingTime，使用处理时间 SparkStreaming时，窗口计算，使用的就是处理时间 2）、事件时间EventTime，最为合理 StructuredStreaming中，窗口计算，使用的是事件时间 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： 1）、事件时间EventTime 事件真真正正发生产生的时间，比如订单数据中订单
Flink的EventTime和WaterMark
Cxw1994的博客
08-31 401
  EventTime是事件在现实世界中发生的时间，ProcessingTime是Flink系统处理该事件的时间。在实际业务处理中，我们使用EventTime的次数是大于ProcessingTime的。但问题就随之而来了，因为一系列问题会造成的消息的延迟到达，所以就引入了WaterMark这一概念来一定程度上减少消息延迟问题带来的不便。   下面代码是演示的理想的情况下，无消息延迟的情况下，不需watermark。 def main(args: Array[String]): Unit = { va
6 Flink的Time时间和Window窗口
qq_45972323的博客
02-01 992
Flink 是流式的、实时的 计算引擎。上面一句话就有两个概念，一个是流式，一个是实时。流式：就是数据源源不断的流进来，也就是数据没有边界，但是我们计算的时候必须在一个有边界的范围内进行，所以这里面就有一个问题，边界怎么确定？无非就两种方式，根据时间段或者数据量进行确定，根据时间段就是每隔多长时间就划分一个边界，根据数据量就是每来多少条数据划分一个边界，Flink 中就是这么划分边界的，本文会详细讲解。实时：就是数据发送过来之后立马就进行相关的计算，然后将结果输出。
Kafka与Flink整合：构建实时数据管道
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
09-25 647
在当今数字化时代，数据以惊人的速度产生，企业需要能够实时处理这些数据，以获取有价值的信息并做出及时的决策。Kafka是一个高性能的分布式消息队列，而Flink是一个强大的实时计算引擎。将Kafka与Flink整合起来构建实时数据管道，可以让数据在产生后迅速得到处理和分析。本文的目的就是详细介绍如何实现这种整合，范围涵盖了从基础概念到实际项目的各个方面。本文将按照以下结构进行组织：首先介绍Kafka和Flink的核心概念以及它们之间的联系；接着阐述整合的核心算法原理和具体操作步骤；
flinksql获取系统当前时间搓_如何使用flinksql按事件时间对流进行排序
weixin_39727005的博客
12-20 426
public class Sort {public static final int OUT_OF_ORDERNESS = 1000;public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvi...
c# Timer 中怎么在固定时间和固定周期中调用事件
07-11
C# Timer 中怎么在固定时间和固定周期中调用事件
时间类型的种类
weixin_46191846的博客
09-16 666
事件类型的种类 一、鼠标事件 click 单机 dblclick 双击 mousevoer 鼠标移入 mouseout 鼠标移出 mousemove 鼠标移动（会不停的触发） mouseenter 鼠标移入 mouseleave 鼠标移出 二，键盘事件 三、HTML事件 1、window事
flink提取时间戳并指定使用eventTime
我的祖传代码
05-31 5256
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //指定使用eventTime env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); //1590894238,江西,高安,100 //仅提取时间字段，不改变数据样式.
Flink流连接器之Kafka【三】【事件时间与水印、分区计划、容错、Kerberos身份验证】
踏雪无痕
07-15 1617
一.Kafka使用者和时间戳提取/水印发射 在许多情况下，记录的时间戳（显式或隐式地）嵌入到记录本身。另外，用户可能希望例如基于包含当前事件时间水印的Kafka流中的特殊记录，周期性地或以不规则的方式发出水印。对于这些情况，Flink Kafka Consumer允许指定一个AssignerWithPeriodicWatermarks或一个AssignerWithPunctuatedWatermarks。 可以按此处所述指定自定义的时间戳提取器/水印发射器，或使用预定义的提取器/水印发射器 。这样做之后，可
轻松通关Flink第32讲：Flink 和 Kafka 整合时间窗口设计
sucaiwa的博客
03-29 724
这一课时我们学习了 Flink 消费 Kafka 数据计算 PV 和 UV 的水印和窗口设计，并且定义了窗口计算的触发器，完成了计算 PV 和 UV 前的所有准备工作。
Flink 中的EventTime详细概念 及示例代码
gym02的博客
04-29 4500
Flink时间窗口的计算中，支持多种时间的概念：Processsing，IngestionTime，EventTime。 如果在Flink中用户不做任何设置，默认使用的是ProcesssingTime，其中ProcesssingTime，IngestionTime都是由计算节点产生。不同的是IngestionTime是DataSource组件在产生记录的时候指定时间，而ProcesssingTi...
Flink | EventTime 和Watermark
风中云彩的博客
08-10 559
​ 通常情况下，由于网络原因或系统等外部因素，事件数据往往不能及时传输到Flink系统中，导致数据乱序到达或延迟到达，因此需要一种机制能够控制数据处理的过程和进度。水平线（watermarks）机制，它能够衡量数据处理进度，保证事件数据到达Flink系统，或者在乱序和延迟时，也能够像预期一样计算出正确并且连续的结果。Flink会将用读取进去系统的最新事件时间减去固定的时间间隔作为w...
C#固定时间执行指定事件（观察者模式+异步委托）
weixin_30871293的博客
01-04 398
最近有个项目需要每天固定的时间去执行指定的事件，发现网上关于这样的文章比较少，而且比较散。通过学习了几篇文章后终于实现了这个功能，在此也特别感谢这些文章的作者们，这也是我第一次在园子里面发文章，望多指教。 关于观察者模式，我在这里就不做讲解了，如有不懂，可以参考相关文章。 那么开始入正题。 主要有三个页面：Observer.cs（观察者）、Subject.cs（通知者）、Form1.cs ...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值