Flink提交模式

本文详细介绍了Flink的三种提交模式:Local模式用于调试,Standalone模式为独立的分布式集群,而Yarn模式则提供了资源隔离和优化的作业管理。Flink项目在实时监控、实时报表、流数据分析和实时仓库等方面发挥关键作用,如用户行为报警、活动直播大屏展示、实时个性化推荐等。此外,文章还探讨了不同模式的优缺点,如Session模式资源共享但隔离性差,Per-job模式资源隔离但启动慢,Application模式则是优化的部署方案。

Local模式

JobManager和TaskManager共用一个JVM,只需要jdk支持,单节点运行,主要用来调试

Standlone模式

Standlone是Flink自带的一个分布式集群,不依赖其他的资源调度框架,不依赖yarn等,充当Master角色的是JobManager,充当Slave/worker角色的是TaskManager

Yarn模式

Yarn模式生命周期资源隔离优点缺点main方法
session关闭会话,才会停止共用JM和TM预先启动,启动作业不再启动。资源充分共享资源隔离比较差,TM不容易扩展在客户端执行
Per-jobJob停止,集群停止耽搁job独享JM和TM充分隔离,资源根据jon按需申请job启动慢,每个job需要启动一个jobManager在客户端执行
Application当Application全部执行完,集群才会停止Application使用一套JM和TMClient负载低,Application之间实现资源隔离,Application内实现资源共享对per-job模式和session模式的优化部署模式(优点)在Cluster

flink项目做了什么

  • 实时监控:
    1.用户行为报警,服务器攻击预警

  • 实时报表:
    1.活动直播大屏:6.18 双11
    2.对外数据产品实效性
    3.数据化运营

  • 流数据分析:
    1.实时计算相关指标反馈及时调整决策
    2.内容投放 无线智能推送 实时个性化推荐等

  • 实时仓库:
    1.数据实时清晰,归并,结构化
    2.数仓的补充和优化

<think> 嗯,用户这次想了解Flink提交作业的模式。根据之前的对话历史,用户已经对Spark的作业提交方式有了较深的理解(spark-shell/spark-submit/spark-sql的区别),现在转向Flink框架的同类问题,说明ta可能在对比两个流处理引擎的架构差异。 用户提供的引用材料非常聚焦,主要来自Flink部署相关的技术文档(引用1-5)。这些材料清晰地展示了Flink的三种核心部署模式:会话模式、单作业模式、应用模式。有趣的是,用户特意标注了"并不是用户真正的需求",但根据上下文,这恰恰是ta当前需要的技术点——毕竟ta最后明确提问"Flink提交作业的模式有哪些"。 从引用内容看,有三个关键维度需要展开: 1. 模式区别:会话模式(静态集群共享)vs 单作业模式(每作业独立JobManager)vs 应用模式(整个应用共享集群) 2. 资源管理:尤其注意引用2和引用5强调的独立模式特殊性——TaskManager需手动启动,这与YARN/K8s的自动管理截然不同 3. 适用场景:引用4提到单作业模式"资源隔离好但网络负载高",这点对生产环境选型很重要 用户作为大数据工程师,可能正在为实时计算平台选型,需要评估不同模式对资源利用率、隔离性和运维成本的影响。因此在回答中要突出对比维度(如资源分配粒度、JobManager生命周期),并补充实际命令示例(如引用1的yarn-cluster提交方式)。 特别要注意纠正一个潜在误区:引用3提到应用模式"启动JobMaster",严格来说JobMaster是运行时组件,回答中需明确"为应用启动专属JobManager"的表述。此外,用户上次对Spark的"cluster"模式很关注(driver部署位置),类比到Flink应强调单作业模式的cluster级隔离。 </think>根据Flink的架构设计,作业提交主要有三种核心模式,它们在**集群生命周期**、**资源分配粒度**和**适用场景**上存在显著差异: --- ### 1. **会话模式 (Session Mode)** - **核心特点**: - **共享集群**:预先启动长期运行的`JobManager`和`TaskManager`,所有作业共享资源[^2][^3] - **资源隔离弱**:作业间可能竞争资源(如CPU/内存) - **提交命令示例**: ```bash # 先启动集群 bin/start-cluster.sh # 提交作业到现有集群 bin/flink run -d -c com.example.Job app.jar ``` - **适用场景**: - 短时测试或开发环境 - 作业执行时间短且资源需求稳定[^4] --- ### 2. **单作业模式 (Per-Job Mode)** - **核心特点**: - **作业级隔离**:每个作业启动独立的`JobManager`和专属`TaskManager`[^1][^3] - **资源控制精细**:通过参数指定资源(如`-ytm`设置TaskManager内存) - **提交命令示例**: ```bash bin/flink run \ -m yarn-cluster \ # YARN集群模式 -yqu high_priority \ # 指定队列 -ynm "Flink-ETL-Job" \ # 作业名称 -ys 2 \ # 每个TM的Slot数 -ytm 4096 \ # TM内存4GB -yjm 2048 \ # JM内存2GB -c com.example.ETLJob app.jar ``` - **适用场景**: - 生产环境关键作业(如实时ETL) - 需要严格资源隔离的场景[^1][^4] --- ### 3. **应用模式 (Application Mode)** - **核心特点**: - **应用级隔离**:整个应用(含多个作业)共享一个集群,但与其他应用隔离[^3][^4] - **资源复用**:应用内作业复用`JobManager` - **工作流程**: 1. 提交应用时启动专属`JobManager` 2. `JobManager`按需申请`TaskManager`资源[^3] - **优势**: - 避免客户端资源消耗(JAR包在集群端加载) - 适合微服务化部署[^4] - **提交命令**: ```bash bin/flink run-application \ -t yarn-application \ # YARN应用模式 -c com.example.Main app.jar ``` --- ### 关键对比总结 | **模式** | 集群生命周期 | 资源隔离粒度 | 适用场景 | 运维复杂度 | |----------------|--------------|--------------|--------------------------|------------| | **会话模式** | 长期运行 | 作业间共享 | 开发测试、临时查询 | 低 | | **单作业模式** | 按作业启停 | 作业级隔离 | 生产环境关键任务 | 中 | | **应用模式** | 按应用启停 | 应用级隔离 | 微服务架构、持续生成作业 | 高 | > **部署差异**: > - 独立部署(Standalone)**不支持单作业模式**,需手动预启TaskManager[^2][^5] > - YARN/Kubernetes支持所有三种模式,且能自动管理资源[^1][^4] --- ### 模式选择建议 1. **开发阶段** → 会话模式(快速迭代) 2. **生产单作业** → 单作业模式(强隔离) 3. **流处理应用** → 应用模式(资源复用) 例如电商场景: - 实时风控(高优先级)用 **单作业模式** - 用户行为分析流水线用 **应用模式** - 临时数据探查用 **会话模式** ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值