Flink大数据处理：构建Standalone-HA高可用集群模式

最新推荐文章于 2024-11-28 20:59:52 发布
最新推荐文章于 2024-11-28 20:59:52 发布
阅读量308 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PixelInk/article/details/132958255
大数据 专栏收录该内容
181 篇文章 ¥59.90 ¥99.00
订阅专栏
本文详细介绍了如何配置和部署Apache Flink的Standalone-HA集群，以确保JobManager的高可用性。内容包括下载安装Flink，配置flink-conf.yaml和zoo.cfg文件，启动ZooKeeper及Flink集群，以及提交Flink作业到高可用集群的示例代码。通过使用ZooKeeper，实现了Flink集群在故障时的无缝切换。

Apache Flink是一个强大的大数据处理引擎，能够处理实时流数据和批处理数据。在构建Flink集群时，高可用性(High Availability, HA)是一个重要的考虑因素。本文将介绍如何配置和部署Flink Standalone-HA高可用集群，并提供相应的源代码示例。

Flink Standalone-HA集群模式概述
Flink Standalone-HA集群模式是一种分布式部署架构，可以确保Flink JobManager的高可用性。在该模式下，一个Flink集群由多个JobManager和多个TaskManager组成。其中，一个JobManager被选为Leader，负责接收和调度作业，其他JobManager则作为Standby备份。当Leader JobManager宕机时，Standby JobManager会接管其职责，保证集群的高可用性。

配置Flink Standalone-HA集群
以下是配置Flink Standalone-HA集群的步骤：

  1. 下载和安装Flink
    首先，从Apache Flink官方网站下载最新版本的Flink，并按照官方文档的指引进行安装。

  2. 配置flink-conf.yaml
    打开Flink的配置文件flink-conf.yaml，进行以下设置：

    # 配置JobManager高可用性
high-availability
了解本专栏 订阅专栏 解锁全文
Flink系列：Standalone高可用配置
NIO4444
07-17 679
目录 修改配置yaml 配置master 配置ZK 启动HA 修改配置yaml 配置master 配置ZK 启动HA 扩展 Flink系列：flink on yarn高可用配置https://xdoctorx.blog.csdn.net/article/details/118864534
大数据Flink（五）：Standalone-HA高可用集群模式
Lansonli（蓝深李）的博客
04-24 1664
目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执行 10.使用jps命令查看 11.查看日志 12.下载jar包并在Flink的lib目录下放入该jar包并分发使Flink能够支持对Hadoop的操作 13.重新启
【Flink】集群环境下的搭建（Standalone 模式）
最新发布
2403_86969226的博客
11-28 1893
Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架，支持多种安装部署模式。主要包括以下几种‌1‌.Standalone 模式‌：这是独立运行的模式，不依赖任何外部的资源管理平台，只需要运行所有Flink组件服务。这种模式适合开发和测试环境‌。2‌.YARN 模式。
最新 Flink 1.13 部署（Session、Per-Job、Application、HA、YARN）快速入门、详细教程
博文约礼
04-07 7426
Flink 部署;一、部署模式;1. 会话模式（Session Mode）;2. 单作业模式（Per-Job Mode）;3. 应用模式（Application Mode）;4. 对比;二、独立模式（Standalone）;1. 会话模式部署;2. 单作业模式部署;3. 应用模式部署;4. 高可用(High Availability );三、YARN 模式;1. 相关准备和配置;2. 会话模式部署;3. 单作业模式部署;4. 应用模式部署;5. 高可用
6、Flink Standalone-HA高可用集群模式
Rainbow的博客
06-28 1592
在 Zookeeper 的帮助下，一个 Standalone的Flink集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于 Standby 状态。当工作中的 JobManager 失去连接后(如宕机或 Crash)，Zookeeper 会从 Standby 中选一个新的 JobManager 来接管 Flink 集群。
Flink standalone集群HA高可用搭建
bao_since的博客
05-15 3311
如果没有dfs，需要配置dfs路径的位置也可以用本地file路径替换,倒也能启动集群和作业，但不要这样用，在作业容错和重启时会出现问题，比如找不到存在其他机器磁盘上的状态。 HA 配置为 3masters 3slavers java1.8->scala2.12->zookeeper3.4.14->flink1.8.0_2.12 1.配置集群间ssh免密登陆 生成ss...
Flink 高可用之StandAlone-HA模式(一)
天道酬勤
05-16 1261
服务器: node1(Master + Slave): JobManager + TaskManager。- 服务器: node2(Master + Slave): JobManager + TaskManager。- 服务器: node3(Slave): TaskManager。#存储JobManager的元数据到HDFS。#启用检查点，可以将快照保存到HDFS。#开启HA，使用文件系统作为快照存储。#使用zookeeper搭建高可用。
flink的Standalone-HA模式安装
shenyunsese的专栏
09-21 2679
本文使用flink1.14.5版本，介绍standalone-HA模式的安装。此模式时高可用架构，采用zookeeper协调多个JobManager，保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。因为涉及到运行过程中的状态数据的存储，如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。
flink集群部署之Standalone模式+HA高可用部署
可乐
09-30 623
1.下载flink 链接：https://flink.apache.org/downloads.html 2.安装 1）解压缩 tar -zxvf flink-1.7.2-bin-hadoop27-scala _2.11.tgz 3.代码编写 object StreamWordCount { def main(args: Array[String]): Unit = { //从外部命令获取参数 val params: ParameterTool = ParameterTool.f
大数据实操篇 No.10-Flink Standalone集群HA高可用部署
pezynd的专栏
08-28 1235
第1章 简介 Flink高可用集群，有多种模式，本章介绍：Standalone独立集群模式的高可用部署，及其使用。 下面先引用一张Flink官网的图：可以看到Standalone集群的高可用其实就是JobManager的高可用。一个Leader JobManager，以及其他多个Standby JobManager，Leader和Standby之间的切换是依赖于zookeeper，所以部署之前必须安装好Zookeeper集群（可以参考笔者的另外一篇文章：大数据实操篇 No.1-Zookeeper集群搭建
安装Flink 1.18 Stand alone 高可用HA集群，并配置HDFS
2401_83497537的博客
07-04 1038
注意：由于Flink集群与Hadoop集群是分开的，所以在Flink机器上没有Hadoop的包（运行文件），因此在Flink集群启动的时候会报找不到HDFS集群的错误，解决方案就是在Flink集群的机器上安装Hadoop（无需启动），同时需要配置Hadoop环境变量，详情如下。
flink的StandaloneHA部署flink1.8.0+hadoop2.6.5+zookeeper3.4.14
DRD
04-01 580
说明 1.三台机器 192.168.10.131 node1 192.168.10.132 node2 192.168.10.133 node3 2.用户都是flink 三台集群免密登录 参考：https://blog.csdn.net/sndayYU/article/details/115036682 用户flink，别名分别时node1、node2、node3 可以用xshell一起配置，基本涉及命令如下： useradd flink passwd flink vim /etc/sudoer
搭建Flink集群、集群HA高可用以及配置历史服务器
积跬步，至千里。
09-21 3326
本文介绍了如何搭建一个Flink集群、Flink集群HA高可用，并配置历史服务器以记录Job任务执行的详细信息和状态。
Flink Standalone模式HA部署
qq_56870570的博客
03-20 1281
Standalone Cluster HA 前面我们配置的 Standalone 集群实际上只有一个 JobManager，此时是存在单点故障的，所以官方提供了 Standalone Cluster HA 模式来实现集群高可用。 1. 前置条件 在 Standalone Cluster HA 模式下，集群可以由多个 JobManager，但只有一个处于 active 状态，其余的则处于备用状态，Flink 使用 ZooKeeper 来选举出 Active JobManager，并依赖其来提供一致性协调
flink高可用集群搭建（Standalone模式）
热门推荐
hello.reader
03-23 1万+
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。
Flink Standalone 集群HA配置
qq_37135484的博客
01-17 1380
flink笔记@tanghc1.HA集群环境规划2.配置3.验证HA切换 1.HA集群环境规划 使用三台节点实现两主两从集群（由于笔记本性能限制） jobmanager：master 、slave1 Taskmanager:slave1、slave2（slave1是一台机器上同时跑jobmanager和Taskmanager） zookeeper：master 、slave1、slave2 NOT...
Flink 1.7.2 standalone HA模式安装和部署
腾飞的大象
02-07 653
文章目录Flink standalone 模式安装和部署1.环境说明1.1 机器配置和角色说明1.2 免密钥配置2.zookeeper安装和部署2.1 下载zookeeper2.2 解压2.3 修改配置文件2.4 配置myid2.5 同步文件2.6 启动zookeeper3.Flink 安装和部署3.1 下载3.2 解压3.3 修改配置文件3.3.1 修改flink-conf.yaml3.3.2 ...
(第八弹)Flink——Flink之Standalone模式HA搭建
bigdata_player
08-01 683
针对独立集群的JobManager高可用性的一般思想是，在任何时候都有一个领导的JobManager，并且在领导者失败时有多个备用JobManager来接管领导权。这保证了没有单一的故障点，程序可以在备用JobManager接管后立即继续执行。备用实例和主JobManager实例之间没有明显的区别。每个JobManager都可以充当master或standby角色。 一、Mast...
Flink的standalone和HA安装部署
qianfeng_dashuju的博客
07-08 1504
1、standalone cluster部署 flink的集群也是主从架构。主是jobManager,,从事taskManager。 规划： ip服务描述192.168.216.111jobManager、taskManager192.168.216.112taskManager192.168.216.113taskManager 1、下载 2、解压 [root@hadoop01 local]# tar -zxvf /home/flink-1.9.1-bin-scala_2.11.t.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值