【flink】flink集群的搭建

最新推荐文章于 2025-04-23 14:17:51 发布
最新推荐文章于 2025-04-23 14:17:51 发布
阅读量733 收藏 1
点赞数
分类专栏： flink 文章标签： hadoop 大数据 分布式 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45783164/article/details/105840902
版权
本文详细介绍了如何搭建Flink集群，包括Standalone模式的步骤、Standalone集群架构、高可用HA模式的配置以及YARN模式的两种运行方式，最后提供了在YARN上运行Flink的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Flink支持多种安装模式。

  • local（本地）——单机模式，一般不使用
  • standalone——独立模式，Flink自带集群，开发测试环境使用
  • yarn——计算资源统一由Hadoop YARN管理，生产环境测试

二、Standalone模式

步骤
  1. 解压flink压缩包到指定目录
  2. 配置flink
  3. 配置slaves节点
  4. 分发flink到各个节点
  5. 启动集群
  6. 提交WordCount程序测试
  7. 查看Flink WebUI
具体操作
  1. 上传flink压缩包到指定目录
  2. 解压缩flink到 /export/servers 目录
tar -xvzf flink-1.6.0-bin-hadoop26-scala_2.11.tgz -C /export/servers
  1. 使用vi修改 conf/flink-conf.yaml
 # 配置Master的机器名（IP地址）
jobmanager.rpc.address: node-1 
 # 配置每个taskmanager生成的临时文件夹 
taskmanager.tmp.dirs: /export/servers/flink-1.6.0/tmp
  1. 使用vi修改slaves文件
had-node-2 
had-node-3 
had-node-4
  1. 使用vi修改 /etc/profile 系统环境变量配置文件，添加HADOOP_CONF_DIR目录
export HADOOP_CONF_DIR=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
  1. 分发/etc/profile到其他两个节点
scp -r /etc/profile node-2:/etc 
scp -r /etc/profile node-3:/etc
  1. 每个节点重新加载环境变量
source /etc/profile
  1. 使用scp命令分发flink到其他节点
scp -r /export/servers/flink-1.6.0/ node-2:/export/servers/ 
scp -r /export/servers/flink-1.6.0/ node-3:/export/servers/
  1. 启动Flink集群
  2. 启动HDFS集群
  3. 在HDFS中创建/test/input目录
hadoop fs -mkdir -p /test/input
  1. 上传wordcount.txt文件到HDFS下的 /test/input目录
hadoop fs -put /root/wordcount.txt /test/input
  1. 并运行测试任务
bin/flink run /export/servers/flink-1.6.0/examples/batch/WordCount.jar --input hdfs://node-1:9000/test/input/wordcount.txt --output hdfs://node-1:9000/test/output/result.txt
  1. 浏览Flink Web UI界面
http://node-1:8081

三、Standalone集群架构

在这里插入图片描述

  • client客户端提交任务给JobManager
  • JobManager负责Flink集群计算资源管理，并分发任务给TaskManager执行
  • TaskManager定期向JobManager汇报状态

四、高可用HA模式

从上述架构图中，可发现JobManager存在 单点故障 ，一旦JobManager出现意外，整个集群无法工作。所以，为了确 保集群的高可用，需要搭建Flink的HA。（如果是部署在YARN上，部署YARN的HA），我们这里演示如何搭建 Standalone 模式HA。

HA架构图
在这里插入图片描述

步骤
  1. 在flink-conf.yaml中添加zookeeper配置
  2. 将配置过的HA的 flink-conf.yaml 分发到另外两个节点
  3. 分别到另外两个节点中修改flink-conf.yaml中的配置
  4. 在 masters 配置文件中添加多个节点
  5. 分发masters配置文件到另外两个节点
  6. 启动 zookeeper 集群
  7. 启动 flink 集群
具体操作
  1. 在flink-conf.yaml中添加zookeeper配置
#开启HA，使用文件系统作为快照存储 
state.backend: filesystem
#启用检查点，可以将快照保存到HDFS 
state.backend.fs.checkpointdir: hdfs://node-1:9000/flink-checkpoints 
#使用zookeeper搭建高可用 
high-availability: zookeeper 
# 存储JobManager的元数据到HDFS 
high-availability.storageDir: hdfs://node-1:9000/flink/ha/ 
high-availability.zookeeper.quorum: node-1:2181,node-2:2181,node-3:2181
  1. 将配置过的HA的 flink-conf.yaml 分发到另外两个节点
scp -r /export/servers/flink-1.6.0/conf/flink-conf.yaml node-2:/export/servers/flink-1.6.0/conf/ 
scp -r /export/servers/flink-1.6.0/conf/flink-conf.yaml node-3:/export/servers/flink-1.6.0/conf/
  1. 到节点2中修改flink-conf.yaml中的配置，将JobManager设置为自己节点的名称
jobmanager.rpc.address: node-2
  1. 在 masters 配置文件中添加多个节点
node-1:8081 
node-2:8082
  1. 分发masters配置文件到另外两个节点
scp /export/servers/flink-1.6.0/conf/masters node-2:/export/servers/flink-1.6.0/conf/ 
scp /export/servers/flink-1.6.0/conf/masters node-3:/export/servers/flink-1.6.0/conf/
  1. 启动 zookeeper 集群
  2. 启动 HDFS 集群
  3. 启动 flink 集群
  4. 分别查看两个节点的Flink Web UI
  5. kill掉一个节点，查看另外的一个节点的Web UI
    注意事项（来检测HA）

切记搭建HA，需要将第二个节点的 jobmanager.rpc.address 修改为node-2

五、YARN模式

在企业中，经常需要将Flink集群部署到YARN，因为可以使用YARN来管理所有计算资源。而且Spark程序也可以部署到 YARN上。

Flink运行在YARN上，可以使用yarn-session来快速提交作业到YARN集群。

在这里插入图片描述

yarn-session提供两种模式
  1. 会话模式
    • 使用Flink中的yarn-session（yarn客户端），会启动两个必要服务 JobManager 和 TaskManagers
    • 客户端通过yarn-session提交作业
    • yarn-session会一直启动，不停地接收客户端提交的作用
    • 有大量的小作业，适合使用这种方式

在这里插入图片描述

  1. 分离模式
    • 直接提交任务给YARN
    • 大作业，适合使用这种方式

在这里插入图片描述

步骤
  1. 修改Hadoop的yarn-site.xml，添加该配置表示内存超过分配值，是否将任务杀掉。默认为true。
    运行Flink程序，很容易超过分配的内存。
<property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>    
    <value>false</value> 
</property>
  1. 启动HDFS、YARN集群
  2. 使用yarn-session的模式提交作业
YARN Session模式
  1. 在flink目录启动yarn-session

bin/yarn-session.sh -n 2 -tm 800 -s 1 -d

#-n 表示申请2个容器，
# -s 表示每个容器启动多少个slot
# -tm 表示每个TaskManager申请800M内存
# -d 表示以后台程序方式运行

  1. 使用flink提交任务
bin/flink run examples/batch/WordCount.jar
  1. 如果程序运行完了，可以使用 yarn application -kill application_id 杀掉任务
yarn application -kill application_1554377097889_0002
分离模式
  1. 使用flink直接提交任务
bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar 
2

#-yn 表示TaskManager的个数

  1. 查看WEB UI

在这里插入图片描述

Flink_集群搭建
qq_44509920的博客
07-07 425
文章目录3.1 standalone 集群环境3.1.1 准备工作3.1.2 下载安装包3.1.3 集群规划3.1.4 步骤3.1.5具体操作3.1.6 启动/停止 flink 集群3.1.7 Flink 集群的重启或扩容3.1.8 Standalone 集群架构3.2 高可用 HA 模式3.2.1 HA 架构图3.2.2 集群规划3.2.3 步骤3.2.4 具体操作3.3 yarn 集群环境3.3.1 准备工作3.3.2 集群规划3.3.3 修改 hadoop 的配置参数3.3.4 修改全局变量/etc/
Flink 搭建 - Flink On Yarn 集群模式
热门推荐
半吊子Kyle的博客
09-05 1万+
Flink 搭建 - Flink On Yarn 集群模式模式说明安装准备安装配置启动测试（Session模式）启动测试（Job 分离模式） Apache Flink 1.10 Documentation 模式说明 将 Flink 的 jar 包提交在 yarn 集群中，由 yarn 集群调度执行，所以我们只需要在 1 台服务器中解压 Flink 安装包就可以，其本质仅仅只是为了提交 Flink 应用到 yarn 集群中 Flink On Yarn 的两种运行模式 ① Session 会话模式 特点：需要事
Flink集群搭建
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-27 2314
Flink集群搭建
Flink 系列之三 - 集群模式
最新发布
代码还是得自己扣
04-23 615
本章了解了Flink集群的部署方式以及其不同资源提供方式下的运行方式，同时通过剖解作业提交的整个流程，了解Flink集群不同组件的所负责的工作。至此，对Flink已经有了一个很全面的了解。接下来，将通过多方面细节探讨，更深入的了解Flink。
Flink_Flink 集群搭建
迎难而上
05-22 3122
本文主要讲解下 flink 如何搭建 ： 单节点集群 standalone 集群 yarn session 集群 最近学习了下 Flink ，看了许多天的书，一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。 单节点集群 单节点集群，其实不难。主要我是虚拟机器，内存很小，所以我们要调整 task-manager 的内存参数。 task-manager 的内存分配管理 与 参数配置 是一个大问题，我专门写了一篇文章 ： ...
flink集群搭建
whandgdh的博客
06-30 290
1 flink下载2.上传安装包3 解压4 修改配置文件4.1 配置slaves4.2 修改配置文件flink-conf.yaml5 传送安装包到集群其他服务器6 启动集群7 验证7.1 本地提交作业7.2 打包提交作业 1 flink下载 flink 官方下载地址：https://flink.apache.org/downloads.html 本示例下载1.7.1 2.上传安装包 3 解压 tar -zxvf flink-1.7.1-bin-hadoop26-scala_2.11.tgz -.
flink集群搭建包.zip
06-14
Flink集群搭建是一个复杂但重要的过程，涉及到大数据处理和分布式计算。Flink是一个开源的流处理框架，由Apache基金会维护，它支持实时处理和批处理，具有低延迟、高吞吐量以及容错性强的特点。Java是Flink的主要...
Flink集群的搭建
加油
11-05 399
2、提交任务会共用一个JobManager，动态的申请TaskManager，任务取消，TaskManager就会被释放。前面的两种模式都是一次只会服务一个任务，但是这个可以同时启动多个任务，此时就会产生一个问题，那就是如果其中某一个任务失败的化，那么后面的任务可能都会失败。1、如果业务的要是是实时的业务，那么就选择独立集群模式，因为yarn是基于Hadoop，适合做离线的。也可以使用Web来提交任务，功能与独立集群的模式基本一致，但是不同的是他是建立在Yarn的模式上。2、在本地是看不见错误的。
Flink的集群的搭建
qq_40870024的博客
12-11 4517
部署方式分类 1.Local 本地部署 2. Standalone 使用Flink自带的资源调度平台进行任务的部署 3. Standalone-HA高可用的部署方式 4. Yarn 部署 1. Local 本地部署 应用场景：开发环境 部署步骤： 设置 JDK运行环境 配置 SSH 免密登录 下载并解压缩 Flink-1.13.1 到 /export/server 修改配置文件 jobmanager.rpc.address: node1 开启flink环境查看web UI监控 开启集群 [root@n
CentOS 7集群搭建Flink-1.18.0
liaodaoguo的博客
11-15 708
flink集群
Flink 专题 -1 搭建Flink 及Flink 简介
augus_one的博客
11-06 1804
文章目录Flink 专题1 ： 搭建Flink 及Flink 简介Flink 简介Flink 的优势:Flink 安装flink 安装步骤flink 集群模式 结构 :配置文件设置:添加jobManager/TaskManager启动集群1 集群模式启动2. yarn 模式启动 Flink 专题1 ： 搭建Flink 及Flink 简介 图片来源于网络 Flink 简介 Apache Flin...
Flink系列之Flink集群搭建
luoyepiaoxue2014的博客
12-01 1208
Flink系列之Flink集群搭建
Flink 集群
endswell的专栏
08-27 782
flink cluster
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值