Flink学习笔记02：Flink三种运行模式

已于 2024-10-31 19:00:09 修改
阅读量2.9k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： Local Standalone on Yarn
于 2022-03-23 19:36:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/123690673
本文详细介绍了Flink的三种运行模式：Local模式，适合本地测试和调试；Standalone模式，类似HDFS和YARN的集群架构，由JobManager和TaskManager组成；以及Flink on YARN模式，包括Session Cluster和Job Cluster模式，分别适用于资源共享和独立任务管理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Local 模式

（一）简单说明

  • Flink 可以运行在 Linux、MacOS 和 Windows 系统上，Local 模式是最简单的一种 Flink 运行方式，只需提前安装好 JDK 即可使用。Local 模式会启动 Single JVM，主要用于测试、调试代码。

（二）案例演示

1、准备测试数据集

  • 在Flink安装目录里创建了文本文件text.txt
    在这里插入图片描述

2、Flink Shell运行词频统计

  • 执行命令：bin/start-scala-shell.sh local
了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink三种部署模式
u011624157的专栏
08-11 5987
部署模式 flink可以通过以下三种模式部署： Session Mode Per-Job Mode Application Mode 以上方式主要区别在于 集群生命周期和资源隔离保证 应用程序的main方法是在客户端还是在集群上执行。 Session Mode(会话模式) 会话模式假定存在已经在运行的集群，并使用该集群的资源来执行任何提交的应用程序。在同一（会话）集群中执行的应用程序使用并因此竞争相同的资源。这样做的好处是，您不必为每个提交的作业都创建集群。但是，如果其中一项作业行为不当或关闭了ta
Flink学习笔记03：将项目打包提交到Flink集群上运行（Java版）
howard2005的专栏
03-24 2763
创建项目、打包项目、提交到Flink集群运行
flink集群运行模式
iMonster
10-12 760
flink集群运行支持：session、per-job、application三种模式运行 1.session 模式 共享jobmanager和taskmanager ,所有job都在同一个runtime中运行 main在客户端（deployer）上执行 2.per-job 模式 多个runtime,每个job独享一个jobmanaager和taskmanager ，每个job启动一个Runtime main()在客户端（deployer）上执行 session和per-job集
Flink 部署执行模式
王小工小工历程
05-22 1964
Apache Flink 提供了多种部署模式，以适应不同的环境和需求。
Flink作业三种部署模式：架构、配置与实战应用
最新发布
qq_42773076的博客
06-22 680
Local模式是Flink最为简单直接的部署方式，它在单个JVM进程内模拟Flink集群的运行环境，所有的Flink组件，包括JobManager和TaskManager，都在同一进程中执行。这种模式无需依赖外部集群资源，非常适合开发者在本地进行代码的开发、调试以及小规模数据的测试工作。Standalone模式是Flink自带的分布式部署模式，它允许用户在一组独立的节点上搭建Flink集群，无需依赖其他资源管理框架。
Flink三种模式介绍&集群的搭建
BXMMJ的博客
04-07 2228
Flink、Flink集群的搭建、Flink三种部署模式、会话模式、单作业模式、应用模式
【Flink系列】Flink运行模式还傻傻分不清？快来看看吧
qq_39388986的博客
04-21 4684
关注、星标公众号【 大数据之美 】，和你一起成长 Flink 的部署方式跟 Spark 一样，是非常灵活的，可以支持Local、Standalone、Yarn、Mesos、Docker、Kubernetes等现在常见的部署模式。这些部署模式是 Flink 计算时所需资源的管理的不同方式，所以可以理解为是资源管理方式。 在具体的应用场景中，如何跟计算资源交互，对于集群资源分配和占用的方式，可能会有特定的需求。所以 Flink 为各种场景提供了不同的运行模式，主要有以下三种： 会话模式（Session
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 5928
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用
howard2005的专栏
04-20 1590
搭建Flink on Yarn集群，几种方式运行Flink应用
Flink学习笔记04：将项目打包提交到Flink集群上运行（Scala版）
howard2005的专栏
03-26 1923
创建项目、打包项目、提交到Flink集群运行
Flink学习笔记.docx
05-07
Flink 学习笔记 Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理。Flink 的主要特点是它可以实时处理大规模数据，并且可以与其他大数据处理工具集成，例如 Hadoop、Spark 等...
尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】
upward
06-19 4959
尚硅谷大数据Flink1.17实战教程-笔记02【部署】
flink 三种模式安装
记录工作所遇问题及个人概念理解
10-11 690
flink安装 Flink的本地 模式启动 ./bin/start-local.sh Flink的standalone 模式简单部署 flink-conf.yaml 文件中进行一下配置： jobmanager.rpc.address: 10.8.45.10 # The RPC port where the JobManager is reachable. jobmanager.rpc.port: 6123 # The heap size for the JobManager JVM jobmanager.
[Flink]Flink三种运行模式安装部署以及实现WordCount
ChengYanan的博客
06-26 5380
前言 Flink三种运行方式：Local、Standalone、On Yarn。成功部署后分别用Scala和Java实现wordcount 环境 版本：Flink 1.6.2 集群环境：Hadoop2.6 开发工具: IntelliJ IDEA 一.Local模式 解压： tar -zxvf flink-1.6.2-bin-hadoop26-scala_2.11.tgz cd flink-1.6....
flink部署三种模式（案例操作）
全栈开发的博客
03-29 2467
flink部署操作案例
Flink 分布式运行模式
wangyu1025391259的博客
01-17 577
分布式运行模式如下图：          JobManagers（Master）: 主要的作用是管理tasks；安排checkpoint；失败以后重启 。 通常情况下只有一个JobManager，但是如果是需要其成为高可用的集群，可以配置多个JobManager，但是只有一个活跃的JobManager，其他的都是standby         TaskManagers（worker）: 主...
【入门Flink】- 04Flink部署模式和运行模式【偏概念】
打怪升级
11-03 1136
部署模式和运行模式
大数据学习之Flink，了解Flink的多种部署模式
2301_78038072的博客
01-22 2765
应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争。在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式。
Flink 三种运行模式安装部署和WorldCount
Emperor_CJ的博客
04-30 1285
前言 Flink三种运行方式：Local、Standalone、On Yarn。成功部署后分别用Scala和Java实现wordcount 环境 版本：Flink 1.7.X 集群环境：Hadoop2.6 开发工具: IntelliJ IDEA 一.Local模式 解压：tar -zxvf flink-1.7.X-bin-hadoop26-scala_2.11.tgz cd flink-...
尚硅谷Flink学习笔记深度解析
由于仅提供了“笔记”这一文件名称列表，我们可以假设这个文件包中的内容是尚硅谷提供的Flink学习笔记，涵盖了该框架的各个方面。 Flink的核心知识点可以具体展开为以下几个方面： 1. **数据处理模型**：Flink采用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值