分布式搭建-10 Flink三种模式安装教程

最新推荐文章于 2025-08-18 10:00:00 发布
最新推荐文章于 2025-08-18 10:00:00 发布
阅读量450 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据组件安装部署教程 文章标签： flink伪分布式 flink高可用 flink分布式 安装 教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/QYmufeng/article/details/113182555
本文详细介绍了Flink的多种安装模式，包括伪分布环境部署、Standalone集群安装、Standalone高可用HA模式、Yarn集群环境以及不同session模式的配置和操作，适合开发测试及生产环境使用。

2. Flink集群安装

Flink支持多种安装模式

  • local（本地）——单机模式，一般不使用
  • standalone——独立模式，Flink自带集群，开发测试环境使用
  • yarn——计算资源统一由Hadoop YARN管理，生产测试环境使用

2.1. 伪分布环境部署

在这里插入图片描述

  • Flink程序需要提交给Job Client
  • Job Client将作业提交给Job Manager
  • Job Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的Task Manager
  • Task Manager启动一个线程以开始执行。Task Manager会向Job Manager报告状态更改。例如开始执行，正在进行或已完成。
  • 作业执行完成后，结果将发送回客户端（Job Client）

环境准备:

  • 下载安装包 https://archive.apache.org/dist/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink集群安装指南
DevEnigma的博客
08-13 296
Flink是一个开源的流式处理框架，用于大规模、高吞吐量的数据流处理。在本文中，我们将为您提供安装Flink集群的详细步骤，并附上相应的源代码。以上为一个简单的Flink WordCount示例程序，它读取从Socket传输的文本并计算每个单词的出现次数。至此，您已成功安装并配置了Flink集群，并运行了一个示例程序。希望本文能够为您提供Flink集群安装的指导。确认在Web界面上看到了正常工作的Flink集群。第三步：配置Flink集群。第四步：启动Flink集群。Flink集群安装指南。
Flink教程(1)-集群安装与部署
热门推荐
鸟哥哥的专栏
11-01 2万+
Flink教程。Flink集群安装部署。Flink 是一个同时具备流数据处理和批数据处理的分布式计算框架。Flink代码主要是由 Java 实现，部分代码由 Scala实现。Flink既可以处理有界的批量数据集、也可以处理无界的实时数据集。就业界的使用情况而言，Flink处理的主要场景是流式数据。Flink不同于Spark、Hadoop， Flink称得上是一款真正的流、批统一的大数据计算框架。
flink集群安装
Little_fxc的博客
04-20 489
1 前言 Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 GitHub 上，并使用 Maven 来编译和构建项目。 关于开发测试环境，Mac OS、Linux 系统或者 Windows 都可以。如果使用的是 Windows 10 系统，建议使用 Windows 10 系统的 Linux 子系统来编译和运行。 Flink支持多种安装模式。 local（本地）——单机模式，一般不使用 standalone——独立模式，Flink自带集群，开发测试环境使用 yarn—
Flink集群安装和部署
qq_40905284的博客
03-07 604
Flink集群安装和部署，flink集群常用的有俩种安装方式
Flink集群安装及使用
beishanyingluo的博客
07-12 2476
Flink支持多种安装模式 local（本地）——单机模式，一般不使用 standalone——独立模式，Flink自带集群，开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理，生产测试环境使用 1. 伪分布环境部署 Flink程序需要提交给Job Client Job Client将作业提交给Job Manager Job Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的Task Manager Task Manager启动一个线程以开始执行。Ta
小白速通！Flink Standalone 模式安装部署教程，3 步搞定实时计算神器
最新发布
gtf212的博客
08-18 1431
想入门实时计算却被 Flink 难住？这篇教程专为你准备！Flink Standalone 模式无需依赖其他平台，部署超简单，特别适合新手。3 步就能搞定：备好 Java 环境，解压安装包，启动集群即可。还教你跑实时单词统计示例，直观感受效果。附避坑指南，解决 Java 环境、端口访问等常见问题。不管是单节点还是伪分布式，跟着操作都能轻松搞定。赶紧学起来，开启你的实时计算之旅！
【Flink伪分布式环境搭建及应用，Standlong（开发测试）】
Chad_it的博客
10-19 1328
还在发愁开发测试的时候没有Flink环境么？Flink的伪分布式环境搭建及使用一文承上
大数据基础设施搭建 - Flink
m0_46218511的博客
02-27 1904
一个应用中可能有多个作业，分发器Dispatcher将每一个作业封装成一个JobMaster对象，JobMaster将每一个作业的代码执行逻辑生成一个执行图，资源管理器ResourceManager向TaskManager申请资源来执行该作业的执行操作，最终将作业交给TaskManager中的任务槽Slot来执行，作业执行完成后返回给客户端响应。在yarn的WEB-UI界面，点击任务的History位置，如果Flink历史服务器生效就会跳转到Flink历史服务器UI界面，否则会跳转到Yarn的UI界面。
Flink集群安装部署（Standalone，Yarn模式）
MJK祺的博客
05-19 1741
根据自己所需选择版本，一个是scala版本为2.11，一个是scala版本为2.12，我下载的是flink-1.14.0-bin-scala_2.12.tgz。在完成flink standalone集群部署后，使用Yarn模式提交作业，flink on yarn不需要启动flink集群，只需要启动hadoop集群即可。进入flink的conf目录，修改flink-conf.yaml文件，设置jobmanager.rpc.address为master节点。为了方便，我将解压后的目录重命名为flink。
flink集群安装教程
亮亮同學的博客
04-13 4186
首先准备三台linux机器，一种一台作为JobManager,两台作为TaskManager 1、官方下载地址。选择需要的版本号 2、我选择的是最新版1.14.0，scala版本是2.12 最新版本 3、可以使用wget下载 wget https://www.apache.org/dyn/closer.lua/flink/flink-1.14.4/flink-1.14.4-bin-scala_2.12.tgz 4、文件放在 /usr/local/目录下面 5、解压命令 tar -zxvf flink-1.
flink集群的安装与搭建
m0_63382147的博客
04-13 556
注：（前提条件jdk，hadoop的环境，flink安装包）7.很显然执行此命令后结果已经可以看到但出现以下报错。4.进入到flink的conf下编辑配置文件。5.分发flink及环境变量。6.flink词频统计测试。1.解压flink安装包。2.进入到安装目录改名。3.编辑配置环境变量。
Flink完全分布式集群安装
ludongguoa的博客
11-01 646
Flink支持完全分布式模式，这时它由一个master节点和多个worker节点构成。在本节，我们将搭建一个如下的三个节点的Flink集群。 一、Flink集群安装、配置和运行 Flink完全分布式集群搭建步骤如下： 1、配置从master到worker节点的SSH无密登录，并保持保节点上相同的目录结构。 2、Flink要求在主节点和所有工作节点上设置JAVA_HOME环境变量，并指向Java安装的目录。 使用如下命令检查Java的安装和版本信息： $ java -version 3、
Flink学习连载文档第一篇--Flink集群的安装
二进制专栏
11-21 964
Flink支持多种安装模式。local（本地）——本地模式standalone——独立模式，Flink自带集群，开发测试环境使用standaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用yarn——计算资源统一由Hadoop YARN管理，生产环境测试。
Flink 独立集群安装
QQ202240702博客
09-24 1224
1、学习Flink历史及现状 2、了解Flink相关术语及知识 3、能够Flink独立集群安装 配置 flink 截图： 配置 flink-conf.yaml 配置 workers 配置 master 配置 slaves
Flink集群安装和部署之HA
chbxw
06-22 806
文章目录 默认情况下，每个 Flink 集群只有一个 JobManager，这将导致单点故障（SPOF），如果这个 JobManager 挂了，则不能提交新的任务，并且运行中的程序也会失败。使用JobManager HA，集群可以从 JobManager 故障中恢复，从而避免单点故障。用户可以在Standalone 或 Flink on Yarn 集群模式下配置 Flink 集群 HA（高可用性）。Standalone 模式下，JobManager 的高可用性的基本思想是，任何时候都有一个 Alive Jo
【Flink】02、flink集群安装部署
qq_37023928的博客
01-27 310
一、standalone模式 1、上传flink到cdh01节点，并解压 tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /opt/module 2、修改配置文件 cd /opt/module/flink-1.10.0/conf/ vim flink-conf.yaml 修改一下下面的几个参数，我这内存比较多，直接加了个0： 修改slaves文件： cdh01 cdh02 cdh03 修改masters文件： cdh01:8081 3、分发到其它两台节点
Flink集群安装部署
weixin_52661752的博客
05-28 499
启动flink standalone集群后，可以使用flink client向该集群master节点提交任务。把/etc/profile文件分发给slave1和slave2。修改flink配置文件中的master和workers文件。把配置好的flink文件夹分发给slave1和slave2。修改flink-conf.yaml文件。前期准备：hadoop完全分布式集群。编辑/etc/profile文件。给文件夹改个简单点的名字。下载flink安装包。解压flink安装包。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Toroidals

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值