Apache Flink-数据流之上的有状态的计算

Flink是一款强大的流处理框架,适用于事件驱动应用、数据分析和ETL管道等场景。其特点包括正确性保证,如正好一次状态一致性;多层级API支持,如SQL、数据流API;操作重点为灵活部署和高可用性;并能扩展到任何用户场景,实现低延迟和高吞吐量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

官网给出的Flink应用场景图:

1.状态计算。

2.从上图看出的应用场景有?

-----事件驱动式的流处理

-----ETL管道

-----数据分析

3.一般性架构

从架构上来说与一般的流式架构没有太大的不同,任务调度和资源管理可以放在我们熟悉的yarn上进行,flink的特点如下:

所有流式应用场景:事件驱动应用程序,流和批处理分析,数据管道和ETL

正确性保证:"正好一次"状态的一致性,事件-时间处理,复杂的延迟数据处理

多层级的API支持:流式和批处理上的SQL,数据流API和数据集API,处理函数(时间和状态)

操作重点:灵活部署,高可用性设置,保存点

扩展到任何用户场景:横向扩展的架构,支持超大状态的计算,增量的检查点

优秀的性能:低延迟,高吞吐量,内存计算

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值