本文介绍了Flink在大数据领域的关键地位，详细讲解了Flink集群架构，包括JobManager、TaskManager和Client的角色。接着探讨了Flink的运行模式，并重点阐述了湖仓一体的概念，数据湖的定义以及CDC在实时数据同步中的应用。最后，总结了Flink在低延迟处理和实时分析中的重要性，以及在物联网时代的潜力。
1：Flink 大数据必备技能
阿里收购Flink以后，它的生态体系越来越完善。尤其是Flink在各个大厂的发展非常迅猛，几乎成为数据开发的标配。尤其最近比较火的湖仓一体，CDC 把Flink 提升到一个新的高度。接下来梳理一下Flink 的集群架构以及运行模式。
2：Flink 集群架构
1：JobManger
管理节点，每一个集群至少一个。管理整个集群的计算资源，Job管理与调度执行以及Checkpoint协调。
2：TaskManger
每一个集群有多个TM，负责计算资源提供。
3：Client
本地执行应用Main 方法解析JobGraph对应，并最终将JobGraph提交到JobManger运行，同时监控Job的执行状态。
3：Flink运行模式
| 部署模式 | 相关解释 | 优点 | 缺点 |
| Session Mode | 共享JobManger和TaskManger，所有提交的Job都在一个Runtime运行 |
最低0.47元/天 解锁文章
扫一扫
581
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
