Flink提交模式
Local模式
JobManager和TaskManager共用一个JVM,只需要jdk支持,单节点运行,主要用来调试
Standlone模式
Standlone是Flink自带的一个分布式集群,不依赖其他的资源调度框架,不依赖yarn等,充当Master角色的是JobManager,充当Slave/worker角色的是TaskManager
Yarn模式
| Yarn模式 | 生命周期 | 资源隔离 | 优点 | 缺点 | main方法 |
|---|---|---|---|---|---|
| session | 关闭会话,才会停止 | 共用JM和TM | 预先启动,启动作业不再启动。资源充分共享 | 资源隔离比较差,TM不容易扩展 | 在客户端执行 |
| Per-job | Job停止,集群停止 | 耽搁job独享JM和TM | 充分隔离,资源根据jon按需申请 | job启动慢,每个job需要启动一个jobManager | 在客户端执行 |
| Application | 当Application全部执行完,集群才会停止 | Application使用一套JM和TM | Client负载低,Application之间实现资源隔离,Application内实现资源共享 | 对per-job模式和session模式的优化部署模式(优点) | 在Cluster |
flink项目做了什么
-
实时监控:
1.用户行为报警,服务器攻击预警 -
实时报表:
1.活动直播大屏:6.18 双11
2.对外数据产品实效性
3.数据化运营 -
流数据分析:
1.实时计算相关指标反馈及时调整决策
2.内容投放 无线智能推送 实时个性化推荐等 -
实时仓库:
1.数据实时清晰,归并,结构化
2.数仓的补充和优化
本文详细介绍了Flink的三种提交模式:Local模式用于调试,Standalone模式为独立的分布式集群,而Yarn模式则提供了资源隔离和优化的作业管理。Flink项目在实时监控、实时报表、流数据分析和实时仓库等方面发挥关键作用,如用户行为报警、活动直播大屏展示、实时个性化推荐等。此外,文章还探讨了不同模式的优缺点,如Session模式资源共享但隔离性差,Per-job模式资源隔离但启动慢,Application模式则是优化的部署方案。
782

被折叠的 条评论
为什么被折叠?



