Flink/Blink 原理漫谈（一）时间，watermark详解

最新推荐文章于 2024-06-04 08:03:12 发布
最新推荐文章于 2024-06-04 08:03:12 发布
阅读量1.4k 收藏 7
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Flink/Blink 原理漫谈 文章标签： blink flink 大数据 实时大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Foools/article/details/113541218
本文深入探讨Flink/Blink中的时间概念，包括Event Time、Ingestion Time和Processing Time。重点讲解Watermark机制，用于处理数据乱序问题，保证Event Time的一致性。通过实例解释Watermark如何触发窗口关闭，以及在多流处理中的单调递增策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

系列文章目录

Flink/Blink 原理漫谈（零）运行时的组件

Flink/Blink 原理漫谈（一）时间，watermark详解

Flink/Blink 原理漫谈（二）流表对偶性和distinct详解

Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

Flink/Blink 原理漫谈（四）window机制详解

Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解

Flink/Blink 原理漫谈（六）容错机制（fault tolerance）详解

文章目录

一、 时间

一共有三种时间：event time，ingesti

最低0.47元/天 解锁文章

200万优质内容无限畅学
Flink的Blink计划：深度解析
AI天才研究院
02-18 366
1. 背景介绍 1.1 Apache Flink简介 Apache Flink是一个开源的流处理框架，用于实时数据流处理和批处理应用程序。Flink具有高吞吐量、低延迟和强大的状态管理功能，使其成为大数据处理的理想选择。Flink的核心是一个分布式流数据处理引擎，它可以在各种环境中运行，
终于等到你！阿里正式向 Apache Flink 贡献 Blink 源码
阿里技术
01-28 1168
阿里妹导读：如同我们去年12月在 Flink Forward China 峰会所约，阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源。今天...
官宣！阿里Blink和Flink合并计划出炉
weixin_34418883的博客
02-15 383
apache已公开合并计划，点击可阅读原文《Batch as a Special Case of Streaming and Alibaba's contribution of Blink》，由AI前线进行了翻译。 **春节前一周，经过社区内部讨论，阿里巴巴大数据引擎 Blink 作为 Flink 的分支 正式开源。今天，Apache ...
Blink 漫谈系列 - HelloWorld
weixin_34247299的博客
07-13 298
眼见为实 目前我们概要了解了Blink的强大与宏伟目标(世界一流),但我们相信任何事物的发展都要符合自然规律，一颗小树要长成参天大树要上百年，我们的马老师今天能为亿万人民创造工作，经历近20年，Blink也一样其宏伟目标的实现，需要时间的沉淀，智慧的积累。 用户在给予Blink成长时间的同时也应该体会到Blink亲民的点滴，本篇以HelloWorl...
新一代实时计算领域Flink独树一帜，你知道Blink的关系吗
weixin_61711369的博客
01-22 348
知识分享
Flink/Blink 原理漫谈（四）window机制详解
Foools的博客
02-02 1198
系列文章目录 文章目录系列文章目录window机制Group by windowTumbling window 滑动窗口Hop window 滑动窗口Session window 会话窗口OVER WINDOWROWS OVER WindowRange over window window机制 Blink-1.x版本的window内容 有一些比较基本的group by概念我觉得不需要陈述了，主要需要介绍的是两个类型：group by window和over window。 Group by windo
Flink/Blink 原理漫谈（三）state 有状态计算机制 详解
Foools的博客
02-02 1244
系列文章目录 文章目录系列文章目录StateState存储实现State的分类状态一致性端到端的一致性总结 State 首先，blink是有状态计算的，State是流计算特有的，流计算在 大多数场景 下是增量计算，数据逐条处理（大多数场景)，每次计算是在上一次计算结果之上进行处理的，这样的机制势必要将上一次的计算结果进行存储（生产模式要持久化），另外由于 机器，网络，脏数据等原因导致的程序错误，在重启job时候需要从成功的检查点(checkpoint，后面篇章会专门介绍)进行state的恢复。增量计算
Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解
Foools的博客
02-02 1402
系列文章目录 文章目录系列文章目录持续查询静态查询和动态查询的关系持续查询的实现增量计算：APPEND ONLY场景UPDATE 场景无PK的Append Only 场景有PK的Update 场景Blink store双流join中遇到的append only的问题Blink Sink 持续查询 静态查询和动态查询的关系 传统数据库表我们这里叫Static table，是指在查询的那一刻数据库表的内容不再变化了，查询进行一次计算完成之后表的变化也与本次查询无关了，我们将在Static Table 上面
Flink Watermark详解
王小工小工历程
06-04 1800
Watermark 是用于处理流数据中事件时间（event time）乱序情况的重要机制。在流处理中，数据往往不是按照它们实际发生的时间顺序到达的，这可能是由于网络延迟、系统处理延迟或其他因素导致的。为了能够在这种乱序环境中正确地执行基于时间的操作（如时间窗口聚合），Flink 引入了 Watermark 的概念。Watermark 是一个特殊的标记，它表示“在此时间戳之前的数据应该都已经到达了”。
Flink系列之Time和WaterMark
kkkkk0826的专栏
01-11 487
　　当数据进入Flink的时候，数据需要带入相应的时间，根据相应的时间进行处理。 　　让咱们想象一个场景，有一个队列，分别带着指定的时间，那么处理的时候，需要根据相应的时间进行处理，比如：统计最近五分钟的访问量，那么就需要知道数据到来的时间。五分钟以内的数据将会被计入，超过五分钟的将会计入下一个计算窗口。 　　那么Flink的Time分为三种： 　　ProcessingTime ： 处理时间...
漫谈加持Blink的Flink和Spark
allwefantasy的专栏
01-28 497
前言 今天朋友圈有篇【阿里技术】发的文章，说Blink的性能如何强悍，功能现在也已经比较完善。譬如： Blink 在 TPC-DS 上和 Spark 相比有着非常明显的性能优势，而且这种性能优势随着数据量的增加而变得越来越大。在实际的场景这种优势已经超过 Spark 三倍，在流计算性能上我们也取得了类似的提升。我们线上的很多典型作业，性能是原来的 3 到...
Flink/Blink 原理漫谈（零）运行时的组件
Foools的博客
02-02 5986
系列文章目录 文章目录系列文章目录前言 谈谈blink和flinkBlink原理漫谈零、 Flink运行时的组件JobManagerTaskManagerResourceManagerDispatcher任务提交流程 前言 谈谈blink和flink 在实习时候接触到了flink，这玩意实现了大促期间的实时大数据更新，这对我们这种只写过python，c++啥玩意的来说闻所未闻，所以了解了一下flink的原理，并且尝试使用了公司的blink，在学习时间之余，整理了所有的学习笔记，目的也是分享学习。 A
Flink之乱序处理,时间语义,WaterMark,允许迟到数据,侧输出流
jason_bone_的博客
02-19 3286
一.理解Flink的乱序问题 理解Flink的乱序问题,的先理解Flink的时间语义. Flink有3中时间语义: Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间,后续版本好像这个时间语义.也就不讨论了. Processing Time：执行操作算子的本地系统时间，与机器相关.(Event Time的使用,必须配合WaterMark) Flink的时间语义的使用,需要搭配window机制.没有window开窗也就不存在乱序问题.
Flink之Watermark实践
sxiaobei的博客
07-21 6426
我们知道实时计算中，数据时间比较敏感，有eventTime和processTime区分，一般来说eventTime是从原始的消息中提取过来的，processTime是Flink自己提供的，Flink中一个亮点就是可以基于eventTime计算，这个功能很有用，因为实时数据可能会经过比较长的链路，多少会有延时，并且有很大的不确定性，对于一些需要精确体现事件变化趋势的场景中，单纯使用processTi...
Blink和Flink社区近况
Baron_ND的博客
09-14 940
聊聊Blink开源和Flink社区近况 前几天 Blink 开源的消息刷了朋友圈，因为笔者一直关注着社区的发展。所以今天想从我个人的角度来聊聊 Blink 开源，社区 merge Blink 的计划，以及最近发生的一些很有意义的事情。 Blink 开源 这次 Blink 开源的主要目的是让社区的开发者们能尽早地尝试一些他们感兴趣的功能与改进。我觉得最核心的贡献包括： Stream SQL 的新功能和性能优化：如维表Join、TopN、支持迟到数据和提早输出的Window、有效解决Agg数据倾斜问题等
Hadoop、spark、Flink、Blink、storm介绍
影子
03-08 1770
1、什么是hadoop（搭建集群） Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。 MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobT
[Flink]Flink1.3 Stream指南六 事件时间与处理时间
SmartSi
10-27 5717
Flink在数据流中支持几种不同概念的时间。1. 处理时间 Processing TimeProcessing Time(处理时间)是指执行相应操作机器的系统时间(Processing time refers to the system time of the machine that is executing the respective operation.)。当一个流程序以处理时间来运行时，
Blink是如何工作的
06-26 2475
概述 Blink开发并不简单。对于Blink开发新手，不简单是因为，为了实现一个非常快的渲染引擎，已经引入了许多Blink特定的概念和编程约定。 即使对于经验丰富的 Blink 开发人员来说，这也并不容易，因为 Blink 非常庞大，而且对性能、内存和安全性极为敏感。 本文旨在从“3千米”高空视角来描述“Blink如何工作”，希望能够帮助Blink开发者快速熟悉Blink的架构： 本文档不是关于Blink细节构成和编码规则（可能变动与过时）的手册、指南。相反，该文档简明地描述了 Blink 的基本原
networks:  net:    external: trueservices:  jobmanager1:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager1    hostname: jobmanager1    ports:     - '8081:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net  jobmanager2:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager2    hostname: jobmanager2    ports:     - '8082:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1  taskmanager1:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager1    hostname: taskmanager1    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager2:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager2    hostname: taskmanager2    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager3:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager3    hostname: taskmanager3    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager3.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2
最新发布
04-04
### Apache Flink 1.16.3 Docker Compose 文件配置 为了正确配置包含 `jobmanager` 和 `taskmanager` 的 Apache Flink 1.16.3 Docker Compose 文件，以下是完整的解决方案： #### 1. 创建基础目录结构 创建一个工作目录来存储所有的必要文件。例如： ```bash mkdir flink-docker && cd flink-docker ``` 在此目录下放置以下文件： - `docker-compose.yml` - `flink-conf.yaml` - 自定义脚本（如 `start.sh`） --- #### 2. 编写 `docker-compose.yml` 下面是一个适用于 Apache Flink 1.16.3 的标准 `docker-compose.yml` 文件示例。 ```yaml version: '3' services: jobmanager: image: flink:1.16.3-scala_2.12-java8 container_name: flink_jobmanager ports: - "8081:8081" environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager command: ["standalone-job", "--job-classname", "org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint"] volumes: - ./config/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/:/opt/flink/lib/ - ./scripts/start.sh:/start.sh taskmanager: image: flink:1.16.3-scala_2.12-java8 container_name: flink_taskmanager depends_on: - jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager command: ["taskmanager"] deploy: replicas: 2 volumes: - ./config/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/:/opt/flink/lib/ volumes: data: ``` 上述配置说明如下： - **JobManager**: 使用官方镜像启动 JobManager 并暴露 Web UI 端口 (默认为 8081)[^1]。 - **TaskManager**: 同样基于官方镜像启动 TaskManager，并通过 `replicas` 参数指定副本数量。 - **共享卷**: 将本地的 `flink-conf.yaml` 和自定义库 (`./lib`) 映射到容器内部路径 `/opt/flink/conf` 和 `/opt/flink/lib` 中。 --- #### 3. 配置 `flink-conf.yaml` Flink 的核心配置位于 `flink-conf.yaml` 文件中。以下是一些必要的参数设置： ```yaml jobmanager.rpc.address: jobmanager jobmanager.memory.process.size: 1600m taskmanager.numberOfTaskSlots: 4 taskmanager.memory.process.size: 1g parallelism.default: 4 restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10s high-availability: zookeeper high-availability.zookeeper.quorum: zookeeper:2181 high-availability.storageDir: hdfs:///recovery/ state.backend: filesystem state.checkpoints.dir: hdfs:///checkpoints/ state.savepoints.dir: hdfs:///savepoints/ ``` 此配置实现了以下功能： - 设置 JobManager 地址为 `jobmanager`[^2]。 - 定义高可用模式并启用 ZooKeeper 支持[^3]。 - 指定状态后端以及检查点和保存点的存储位置。 注意：如果未使用 HDFS 或 ZooKeeper，则需调整相应部分。 --- #### 4. 复制额外资源至容器 将所需的 JAR 文件和其他依赖项复制到容器中的适当位置。例如： ```bash docker cp flink-docker-1.0.jar jobmanager:/flink-docker-1.0.jar docker cp lib/ jobmanager:/flink-docker-lib/ docker cp scripts/start.sh jobmanager:/start.sh ``` 这一步骤确保了所有外部依赖能够被正常加载。 --- #### 5. 测试 Kafka 集成（可选） 如果有涉及 Kafka 的场景，可以通过以下命令进入 Kafka 容器进行调试： ```bash docker exec -it kafka /bin/bash cd /opt/bitnami/kafka/bin ``` 需要注意的是，在执行前应确认 Kafka 已经作为服务运行于同一网络环境中[^4]。 --- ### 总结 以上方法提供了一种标准化的方式构建支持 HA 的分布式 Flink 集群环境。它不仅涵盖了基本组件部署还考虑到了扩展性和容错能力的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值