搭建Flink的Standlone独立模式-高可用（3个节点2个jobmanager）

最新推荐文章于 2024-06-28 11:06:28 发布
原创 最新推荐文章于 2024-06-28 11:06:28 发布 · 1.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据 #zookeeper #hadoop #linux

本文详细介绍了如何部署Flink集群，包括集群规划、软件下载、配置文件修改等步骤，并提供了将配置好的Flink分发到各个节点的具体操作指导。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、集群规划（2个jobmanager）

二、下载并上传至linux系统

四、修改配置文件

五、将hadoop依赖的包下载到flink的lib目录下

六、将配置好的flink分发到slave2和slave3

七、启动Flink集群

独立：不借助第三方资源管理器

多个jobmanager，由zookeeper去调用，但同一时刻只能有一个jobmanager活跃

 

一、集群规划（2个jobmanager）

二、下载并上传至linux系统

官网下载

可自行选择版本

提供网盘的下载

提取码: s6jg

上传至linux系统

四、修改配置文件

 masters

workers（之前的版本则vim slaves）指定taskmanager的主机

五、将hadoop依赖的包下载到flink的lib目录下

提供网盘的下载

提取码: grqj

官网下载

六、将配置好的flink分发到slave2和slave3

在slave2中修改jobmanager的地址

七、启动Flink集群

 前提：先启动zookeeper和hadoop集群

 zookeeper推荐文章

 hadoop推荐文章

 再启动Flink集群

 

 查看进程

web端访问：slave1和slave2都可以访问

slave1

slave2

 

流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式
qq_20466211的博客
07-22 1702
flink的安装
Flink 3种部署模式、保证高可用的区别/Standalone Cluster/Yarn Cluster /Kubernetes Cluster
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-13 2853
1 Standalone Cluster Master-Slave架构，JobManager运行在Master节点，TaskManager运行在Slave节点，与HDFS/Hadoop无关 Active JobManager挂掉时，通过Zookeeper选举多个StandByJobManager成为Active JobManager来保证高可用 2 Yarn Cluster 【一个作业只运行一个JobManager，JobManager挂掉时会通过重启来保证高可用】 2.1 Yarn Ses..
【Flink原理和应用】： Flink Standalone模式的高可用性搭建
hxcaifly的博客
02-24 1623
1. 前言 Flink的standalone模式的高可用部署，需要依赖于ZooKeeper和Hadoop的hdfs。本次集群部署选用的三台服务器ip为： 10.35.108.81 10.35.108.82 10.35.108.83 前期准备工作： ZooKeeper的部署工作完成：三台服务器集群，其中81是leader节点。82和83是follower节点。 HDFS安装完成：83节点开启的N...
flink standalone模式部署【高可用】
qq_36448452的博客
10-21 1878
Common【普通】 ------------------------------------------------------ jobmanager.rpc.address: localhost jobmanager.rpc.port: 6123 jobmanager.memory.process.size: 1600m taskmanager.memory.process.size: 1728m taskmanager.numberOfTaskSlots: 1 parallelism.default:
6、Flink Standalone-HA高可用集群模式
Rainbow的博客
06-28 1404
在 Zookeeper 的帮助下，一个 Standalone的Flink集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于 Standby 状态。当工作中的 JobManager 失去连接后(如宕机或 Crash)，Zookeeper 会从 Standby 中选一个新的 JobManager 来接管 Flink 集群。
Flink 高可用之StandAlone-HA模式(一)
天道酬勤
05-16 1151
服务器: node1(Master + Slave): JobManager + TaskManager。- 服务器: node2(Master + Slave): JobManager + TaskManager。- 服务器: node3(Slave): TaskManager。#存储JobManager的元数据到HDFS。#启用检查点，可以将快照保存到HDFS。#开启HA，使用文件系统作为快照存储。#使用zookeeper搭建高可用。
Flink集群主节点JobManager启动分析(standalone模式)
weixin_44852067的博客
03-29 1052
Flink集群的资源管理器，负责slot的管理和申请工作。Dispatcher负责接收客户端提交的 JobGraph，随后启动一个Jobmanager，类似 Yarn中的ApplicationMaster角色，类似Spark中的Driver角色。JobManager负责一个具体job的执行，在Flink集群中，可能会有多个JobManager 同时执行，job的主控层序。
Flink-----Standalone会话模式作业提交流程
weixin_42492886的博客
08-16 907
注意：物理执行图(PhysicalGraph)，它执行一个执行效果，它并不是一个具体的数据结构，前面的三中图在源码中都是能找到的，唯独这个物理图不是，最重要的图是执行图(ExecutionGraph)，是作业图(JobGraph)的并行化版本，是调度层最核心的数据结构，它知识对并行子任务进行了拆分，明确了任务间数据的传输方式。逻辑流图(StreamGraph) -> 作业图(JobGraph) ->执行图(ExecutionGraph) -> 物理图(Physical Graph)
在k8s部署flink standaloneSession模式 job-manager 高可用集群搭建
10年老JAVA大数据技术人的专栏
04-03 658
在k8s部署flink standaloneSession模式 job-manager 高可用集群搭建
flink standalone部署模式
forrest420的专栏
06-11 1357
flink standalone
大数据实操篇 No.10-Flink Standalone集群HA高可用部署
pezynd的专栏
08-28 1105
第1章 简介 Flink高可用集群，有多种模式，本章介绍：Standalone独立集群模式的高可用部署，及其使用。 下面先引用一张Flink官网的图：可以看到Standalone集群的高可用其实就是JobManager的高可用。一个Leader JobManager，以及其他多个Standby JobManager，Leader和Standby之间的切换是依赖于zookeeper，所以部署之前必须安装好Zookeeper集群（可以参考笔者的另外一篇文章：大数据实操篇 No.1-Zookeeper集群搭建
Flink系列：Standalone高可用配置
NIO4444
07-17 550
目录 修改配置yaml 配置master 配置ZK 启动HA 修改配置yaml 配置master 配置ZK 启动HA 扩展 Flink系列：flink on yarn高可用配置https://xdoctorx.blog.youkuaiyun.com/article/details/118864534
flink高可用集群搭建（Standalone模式）
热门推荐
hello.reader
03-23 1万+
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。
flink standalone高可用HA 模式安装
water
05-04 664
flink ha集群搭建 软件下载地址：http://archive.apache.org/dist/flink/flink-1.7.2/ 环境准备 服务器: cdh01(Master + Slave) 服务器: cdh02(Master + Slave) 服务器: cdh03(Slave) 解压文件到安装目录 tar -xvzf flink-1.7.2-bin-hadoop27-scala_2...
【Flink】Standalone运行模式
lxtx
11-23 1461
独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足或者出现故障没有自动扩展或重分配资源的保证，必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。提前启动集群，并通过Web页面客户端提交任务（可以多个任务，但是集群资源固定）。
Flink1.17.0 Standalone高可用集群搭建
qq_28604399的博客
09-07 378
前置条件： jdk1.8，节点间免密，关闭防火墙，关闭selinux，设置主机域名并配置到hosts文件中，修改Linux部署用户的最大进程数，修改Linux部署用户的打开最大文件数，并搭建好zookeeper集群、hadoop集群。
Flink 配置standalone集群高可用性和YARN 集群高可用性
地球人是我哈的博客
09-26 745
1. standalone集群高可用性 standalone 集群的 JobManager 高可用性的概念是，任何时候都有一个主 JobManager 和 多个备 JobManagers，以便在主节点失败时有新的 JobNamager 接管集群。 这样就保证了没有单点故障，一旦备 JobManager 接管集群，作业就可以依旧正常运行。主备 JobManager 实例之间没有明确的区别。每个 Jo...
Flink（5）：Flink安装部署之Standalone-HA高可用集群模式
yang_shibiao的博客
06-30 2337
0. 相关文章链接 1. 原理
Flink源码解析(standalone)之jobmanager启动
a376554764的博客
08-14 1356
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...
dependency failed to start: container docker-flink-jobmanager-1 is unhealthy
最新发布
02-19
<think>嗯，用户遇到了一个错误：“dependency failed to start: container docker-flink-jobmanager-1 is unhealthy”，需要帮助解决。首先，我需要理解这个错误的原因。Docker容器健康检查失败，可能是因为Flink的JobManager没有正确启动或者健康检查配置太严格。 我应该先建议用户检查容器的日志，使用docker logs命令，这样可以查看具体的错误信息，比如端口冲突、资源不足或者配置错误。然后，检查健康检查的设置，可能在Docker Compose文件中定义了健康检查，参数是否合理，比如间隔时间、重试次数等，可能需要调整。 接下来，考虑资源问题，JobManager需要足够的内存和CPU，用户是否分配了足够的资源？另外，网络配置是否正确，比如端口是否被占用或者防火墙阻止了连接。Flink的配置文件是否有错误，比如任务管理器地址、端口设置是否正确。 如果用户是集群模式，可能需要检查TaskManager是否正常启动，因为JobManager依赖它们。版本兼容性问题也可能导致启动失败，确保Flink版本与Docker镜像兼容。如果这些都不行，重启容器或重建镜像可能会有帮助。 最后，建议用户按照步骤一步步排查，从日志开始，逐步检查各个可能的因素。要确保回答清晰，分步骤说明，让用户容易理解和操作。同时，提醒用户注意健康检查的配置，避免过于严格导致误判。当</think>你在使用 Docker 运行 Apache Flink 时遇到 `dependency failed to start: container docker-flink-jobmanager-1 is unhealthy` 错误时，通常表示 Flink 的 JobManager 容器未能通过 Docker 的健康检查。以下是可能的原因和解决方法： -- ### **1. 检查容器日志** 首先查看容器的日志，定位具体错误： ```bash docker logs docker-flink-jobmanager-1 ``` 常见问题可能包括： - **端口冲突**：检查 Flink 的 `rest.port`（默认 8081）或 `blob.server.port` 是否被占用。 - **资源不足**：JobManager 需要足够的内存（例如 `JVM_HEAP` 设置过小）。 - **配置文件错误**：检查 `flink-conf.yaml` 中的配置（如 TaskManager 地址、高可用配置等）。 --- ### **2. 健康检查配置问题** Docker Compose 中可能定义了健康检查（Healthcheck），但条件过于严格。检查 `docker-compose.yml` 中的配置： ```yaml healthcheck: test: ["CMD", "curl", "-f", "http://localhost:8081/"] interval: 30s timeout: 10s retries: 5 ``` - 调整 `interval`（检测间隔）、`timeout`（超时时间）和 `retries`（重试次数）。 - 如果 JobManager 启动较慢，可增加 `start_period`（例如 `start_period: 60s`）。 --- ### **3. 资源限制** 在 `docker-compose.yml` 中确保分配了足够资源： ```yaml services: jobmanager: image: flink:latest deploy: resources: limits: memory: 2G # 至少分配 1-2G 内存 ``` --- ### **4. 网络配置问题** - 检查容器间网络是否互通（例如 TaskManager 能否连接 JobManager）。 - 确保 Flink 的 `rest.address` 和 `jobmanager.rpc.address` 配置正确（通常设置为容器名，如 `jobmanager`）。 --- ### **5. 依赖服务未就绪** 如果 JobManager 依赖其他服务（如 ZooKeeper、Hadoop），需确保这些服务已启动并在健康检查通过后启动 Flink。在 `docker-compose.yml` 中添加依赖： ```yaml services: jobmanager: depends_on: zookeeper: condition: service_healthy ``` --- ### **6. 镜像版本兼容性** 检查使用的 Flink 镜像版本是否稳定。尝试指定明确版本（如 `flink:1.17.2-scala_2.12`）而非 `latest`。 --- ### **7. 临时解决方案（调试用）** 如果仅为调试，可以暂时禁用健康检查： ```yaml healthcheck: disable: true ``` --- ### **排查步骤总结** 1. 通过 `docker logs` 查看容器日志。 2. 调整健康检查参数（延长检测时间、增加重试次数）。 3. 检查资源配置和网络连通性。 4. 确保依赖服务（如 TaskManager、ZooKeeper）已正常运行。 如果问题仍未解决，建议提供 `docker-compose.yml` 和 `flink-conf.yaml` 的配置片段，以便进一步分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值