本章主要介绍flink基本原理:flink架构、flink组件、flink流批处理对比、flink特点、flink的一些应用场景、flink术语介绍
Apache Flink 是一个在无界和有界数据流上进行状态计算的框架和分布式处理引擎。 Flink 已经可以在所有常见的集群环境中运行,并以 in-memory 的速度和任意的规模进行计算。
Flink特点:
Flink是一个开源的流处理框架,具有一下特点:
分布式:flink程序可以运行在多台机器上
高性能:处理性能高
高可用:支持高可用(ha)
准确:flink可以保证数据处理的准确性
容错:flink提供状态计算,可以记录数据的处理状态,当数据处理失败的时候,能够无缝从失败中恢复,并保持精确一次 (Exactly-once)
Flink 架构
flink架构分为四层,包括deploy层、core层、api层、Library层,如图所示:
Apache Flink 是一个开源的流处理框架,具备分布式、高性能、高可用和准确的特点。其架构分为deploy、core、api和Library四层,支持流批统一处理。Flink主要包括DataSource、Transformation和DataSink三个组件,适用于实时ETL、实时报表和监控预警等场景。此外,本文还介绍了Flink的相关术语,如Event、Function、Managed State等。
订阅专栏 解锁全文
4204

被折叠的 条评论
为什么被折叠?



