【Flink on k8s】- 6 - Flink 核心特性

本文详细介绍了Apache Flink的系统架构,包括Flink API抽象、数据流图、核心组件和集群部署。重点讲解了时间处理的概念,如Event Time、WaterMark及其生成策略,并探讨了Window分配器。同时,文章还讨论了Flink的容错机制,如Task Failover和Job Restart策略,确保高可用性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

1、系统架构

1.1 Flink api 抽象

1.2 数据流图

1.1.1、流式计算引擎逻辑视角与物理视角

1.1.2 并行物理视角

1.3 Flink 核心组件

1.4 集群部署

2、时间处理

2.1 时间类型

2.2 WaterMark(水位线)

2.3 WaterMark 生成

2.3.1 周期性(Periodic)生成Watermark

2.3.2 打点式(Punctuated)生成Watermark

2.4、Window 分配器

3、容错机制

3.1 Task Failover 策略

3.2 Job Restart 策略


1、系统架构

1.1 Flink api 抽象

图片来源:https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/concepts/overview/

  1. 最底层提供的是有状态的流式计算引擎,流(Stream)、状态(State)和时间(Time)等流式计算概念都在这一层得到了实现。

  2. 一般,应用程序不会使用上述底层

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值