Spark Streaming的Event Time和WaterMark理解

最新推荐文章于 2025-07-10 20:50:19 发布
最新推荐文章于 2025-07-10 20:50:19 发布
阅读量5.7k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： -----Spark -----Streaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lxhandlbb/article/details/80372852
本文介绍了EventTime的概念，即事件的实际发生时间，并通过实例详细解释了WaterMark的作用及其实现原理，帮助读者理解如何处理迟到数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

EventTime即事件真正生成的时间。

例如一个用户在10：06点击 了一个按钮。记录在系统中为10：06。

这条数据发送到Kafka，又到了Spark Streaming中处理，已经是10：08了。这个处理的时间就是process Time。


Water Mark即 这个时间点之前的数据都到达了。

例如现在是10:20 ,但是water Mark是 10：10 分，那么认为，10：10之前的数据都已经到达了。 


这个时候，再来一条10：06 的数据，则直接丢弃 了。

但如果来的是10：16的数据，则可以被正确处理。因为10：16 在water mark后面。

Spark(53) -- StructuredStreaming -- 事件时间窗口分析
erainm
10-16 1675
1. 时间概念 2. event-time 窗口分析 3. event-time 窗口生成 4. 延迟数据处理 4.1 延迟数据 4.2 Watermarking 水位 4.3 官方案例演示
19:Structured Streaming：Windows操作和WaterMarker-流处理引擎提供了哪些优秀机制
someInNeed的博客
01-28 2062
今天这一讲，咱们从功能的视角出发，继续来聊一聊 Structured Streaming 流处理引擎都为开发者都提供了哪些特性与能力，让你更灵活地设计并实现流处理应用。 Structured Streaming 怎样坐享其成？ 学习过计算模型之后，我们知道，不管是 Batch mode 的多个 Micro-batch、多个作业的执行方式，还是 Continuous mode 下的一个 Long running job，这些作业的执行计划，最终都会交付给 Spark SQL ...
Spark Streaming中withWatermark的简单尝试
统木木的博客
12-21 1195
我们在处理流数据的时候，往往会有实时性要求。可是如果我们直接按照程序所在服务器的当前时间计算又不行，比如当上游日志数据延迟了，则所有的这部分数据都会被抛弃掉。所以一般我们在记录日志的时候，加上日志的时间戳。这样我们在进行流处理的时候，就可以把日志记录的时间拿出来，根据这个时间来决定流处理是不是要往下进行。而往往我们会以最早到达的日志作为时间参考点，如果下一个日志比这个时间点晚的太多，就可以抛弃掉。...
Event-Stream实时通信技术
最新发布
柯南小海盗
07-10 771
WebSocket与Event-Stream(SSE)技术对比分析 WebSocket和Event-Stream(SSE)是两种常用的实时通信技术，各有特点。WebSocket支持全双工通信，适合复杂交互场景如聊天、游戏，但协议较复杂；SSE基于HTTP，仅支持服务器推送，适合简单场景如消息通知。在Java实现上，推荐采用Spring WebFlux的响应式方案，相比传统SseEmitter具有更好的性能和背压支持。WebFlux基于Reactor项目，提供Mono和Flux两种响应式类型，支持丰富的流操作
Apache Spark Structured Streaming and watermarks
遥望......
05-14 843
"watermark" should "discard late data and accept 1 late but within watermark with window aggregation" in {  val testKey = "watermark-window-test"  val inputStream = new MemoryStream[(Timestamp, String...
Spark之SparkStreaming
acethan的博客
03-20 345
Spark Streaming的编程抽象是离散化流，也就是DStream。它是一个 RDD 序列，每个RDD代表数据流中一个时间片内的数据。 Spark Streaming为每个输入源启动对应的接收器。接收器运行在Executor中，从输入源收集数据并保存为 RDD 默认情况下接收到的数据后会复制到另一个Executor中，进行容错； Driver 中的 StreamingContext 会周期性地运行 Spark 作业来处理这些数据。 SparkStreaming 执行流程 client 提交Spar
Spark StructStreaming Window和Watermark
2401_84052244的博客
08-06 4311
Structured Streaming 支持两类窗口，一个是“不重不漏”的 Tumbling Window，另一个是“可重可漏”的 Sliding Window。二者并无高下之分，作为开发者，我们可以使用 window 函数，结合事件时间、窗口大小、窗口间隔等多个参数，来灵活地在两种窗口之间进行取舍。对于 Late data 的处理，Structured Streaming 使用 Watermark 机制来决定其是否参与过往窗口的计算与更新。
Flink和Spark Streaming流式计算模型比较分析
weixin_43520450的博客
05-31 2103
流式计算模型比较分析一、Spark Streaming1.1 Spark概述1.2 Spark Streaming 概述二、Flink2.1 Flink 概述2.2 Flink的基本架构三、Flink和Spark Streaming流式计算对比分析3.1 时间机制3.2 容错机制和一致性语义四、分析总结 一、Spark Streaming 1.1 Spark概述 Spark是UC Berkeley AMP Lab开源的类似于MapReduce的通用的并行计算框架，同时兼顾分布式的并行计算模型和基于内存计算的
【图解大数据技术】流式计算：Spark Streaming、Flink
weixin_43889578的博客
07-13 1656
Flink 和 Spark Streaming 不一样，Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流，也可以用于计算存储在 HDFS 等存储系统上的数据（Flink 把 这些静态数据当做数据流来进行处理）。然后 Flink 计算后生成的结果流，也可以发送到其他存储系统。
大数据领域Spark Streaming实时数据处理实战
AI天才研究院
05-13 826
随着物联网、移动互联网的普及，企业每天产生PB级的实时数据流，传统批量处理框架（如Hadoop MapReduce）已无法满足秒级甚至毫秒级的低延迟处理需求。Spark Streaming作为Apache Spark生态中面向实时计算的核心组件，通过将实时数据流分割为微小批次（Micro-Batch），结合Spark的分布式计算能力，实现了高吞吐量、容错性强的实时数据处理。
Spark2.3（三十四）：Spark Structured Streaming之withWaterMark和windows窗口是否可以实现最近一小时统计...
weixin_33877885的博客
12-02 653
WaterMark除了可以限定来迟数据范围，是否可以实现最近一小时统计？ WaterMark目的用来限定参数计算数据的范围：比如当前计算数据内max timestamp是12::00，waterMark限定数据分为是60 minutes，那么如果此时输入11:00之前的数据就会被舍弃不参与统计，视为来迟范围超出了60minutes限定范围。 那么，是否可以借助它实现最近一小时的数据统计呢？ ...
Spark Streaming Programming Guide 笔记
10-19
Spark Streaming Programming Guide 翻译+个人学习笔记整理
Spark Structured Steaming 聚合、watermark 以及 window操作，结合输出模式的研究总结
weixin_33672400的博客
05-08 1453
2019独角兽企业重金招聘Python工程师标准>>> ...
Structure streaming-watermark 机制总结
Knight
06-23 520
watermark 在用于基于时间的状态聚合操作时, 该时间可以基于窗口, 也可以基于 eventtimeb本身. 输出模式必须是 append 或 update . 在输出模式是 complete 的时候(必须有聚合), 要求 每次输出所有的聚合结果. 我们使用 watermark 的目的是丢弃一些过时聚合数据, 所以 complete 模式使用 wartermark 无效也无意义. 在输出模式是 append 时, 必须设置 watermask 才能使用聚合操作. 其实, watermask 定 义了.
【Big Data 每日一题20180927】Structured Streaming 之 Event Time 解析
tianyeshiye
09-27 559
Structured Streaming 之 Event Time 解析 [酷玩 Spark] Structured Streaming 源码解析系列 ，返回目录请 猛戳这里 「腾讯·广点通」技术团队荣誉出品 本文内容适用范围： * 2017.07.11 update, Spark 2.2 全系列 √ (已发布：2.2.0) * 2017.10.02 update, Spark 2.1 全...
[Spark]-结构化流之用法篇(待重修)
weixin_30518397的博客
07-07 124
4.用法 　　结构化流使用Datasets和DataFrames.从Spark2.0开始,Spark-SQL中的Datasets和DataFrames,就已经能很好表示静态(有界)数据,动态(无界)数据 　　4.1 数据源 　　　　结构化流提供了四种不中断数据源 file-system,kafka,socket.rate-source　　　 　　　　4.1.1 socket 　　　　　　...
Spark Streaming 一文读懂
给我一点温度
08-24 541
Spark Streaming：流计算框架 以往，批处理和流计算被看作大数据系统的两个方面。我们常常能看到这样的架构——以 Kafka、Storm 为代表的流计算框架用于实时计算，而 Spark 或 MapReduce 则负责每天、每小时的数据批处理。在 ETL 等场合，这样的设计常常导致同样的计算逻辑被实现两次，耗费人力不说，保证一致性也是个问题。 Spark Streaming 正是诞生于...
Spark基于事件时间的“状态”流的深层分析 - withWatermark与mapGroupsWithState的关系
Laurence的技术博客
06-27 4939
不管是基于watermark的窗口计算还是自维护的状态流，它们都是有状态的，watermark只是规定了数据进入“状态”（有资格参与状态计算）的条件，并没有（也不适合）声明状态的“退出”机制。对于watermark的窗口计算来说，它们的“退出”机制是：如果最近某个还处于active状态的窗口它的EndTime比当前批次中最新的一个事件时间减去watermark规定的阈值还要“早”，说明这个窗口所有...
spark streaming和structureed streaming的区别
06-13
### Spark Streaming与Structured Streaming的主要区别及使用场景 #### 1. 核心模型的区别 Spark Streaming基于DStream模型，采用微批处理（micro-batch）的方式进行流式数据的处理[^4]。相比之下，Structured Streaming是基于DataFrame/Dataset API构建的，采用了连续查询（continuous query）模型，能够以真正的流处理方式运行[^1]。 #### 2. 数据处理模式 在Spark Streaming中，数据被划分为固定的时间窗口（batch），每个时间窗口的数据会被当作一个RDD进行处理[^2]。这种方式导致其本质上仍然是批处理的一种形式。而在Structured Streaming中，数据被视为无界表（unbounded table），流处理操作类似于对静态表的操作，支持事件时间（event-time）语义和水印（watermark）机制[^4]。 #### 3. API设计与易用性 Spark Streaming提供了类似RDD的低级API，用户需要手动构造DAG执行图，这可能导致代码复杂度较高，并且容易因开发者水平不同而影响执行效率[^4]。Structured Streaming则继承了Spark SQL的高级API，包括DataFrame和Dataset，使得编写流处理程序更加直观和简洁[^4]。 #### 4. 状态管理和容错性 Spark Streaming的状态管理较为复杂，需要用户自行确保输入源和输出存储的一致性[^4]。Structured Streaming内置了精确一次（exactly-once）语义的支持，简化了状态管理和容错机制的设计。 #### 5. 实时性 由于Spark Streaming依赖于固定的batch size，其延迟通常在几百毫秒到几秒钟之间，难以满足对实时性要求极高的场景[^4]。Structured Streaming通过持续查询的方式，可以实现更低的延迟处理[^1]。 #### 6. 批流统一性 Structured Streaming实现了批处理和流处理的统一编程接口，这意味着同一个代码既可以用于批处理也可以用于流处理，极大地提高了代码复用性和开发效率[^4]。而Spark Streaming则需要分别编写批处理和流处理的逻辑。 #### 使用场景 - **Spark Streaming**：适用于对实时性要求相对较低、但需要灵活控制批处理逻辑的场景，例如准实时数据分析或日志监控系统[^2]。 - **Structured Streaming**：适合需要真正实时处理、精确一次语义保障以及批流统一需求的场景，如金融交易监控、物联网数据处理等。 ```python # 示例：Structured Streaming代码示例 from pyspark.sql import SparkSession spark = SparkSession.builder.appName("StructuredStreamingExample").getOrCreate() # 读取Kafka中的流数据 df = spark.readStream.format("kafka") \ .option("kafka.bootstrap.servers", "host:port") \ .option("subscribe", "topic") \ .load() # 对数据进行简单转换 df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)") \ .writeStream \ .format("console") \ .start() \ .awaitTermination() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值