Flink部署及集群(高可用)

最新推荐文章于 2025-09-20 16:38:38 发布

原创

最新推荐文章于 2025-09-20 16:38:38 发布 · 2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

本文详细介绍了Flink的部署过程，包括下载、解压、启动，并开放UI端口8081以访问Web界面。接着，讨论了Flink集群配置，明确了Master和Slave节点，以及配置文件的调整。特别地，重点讲解了如何实现JobManager的高可用性，通过修改配置文件并启动，验证了HA的切换成功。最后，提到了在启动过程中可能遇到的报错问题及其解决方法。

文章目录

Flink部署
Flink集群配置
Flink实现JobManager High Availability (HA)
问题集
- - 1、启动Flink报错：

Flink部署

1、下载

官网下载地址：http://flink.apache.org/downloads.html。

HDP集群hadoop3.1，scala：2.11，选择flink-1.10.0-bin-scala_2.11.tgz

2、解压

tar -zxvf flink-1.10.0-bin-scala_2.11.tgz

3、启动Flink

进入bin目录：cd /usr/flink/flink-1.10.0/bin
启动flink：./start-cluster.sh

启动成功如下：jps可以看到StandaloneSessionClusterEntrypoint在运行说明成功！

3、开放端口8081

vi /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8081 -j ACCEPT

4、访问ui界面

输入10.34.11.142：8081

5、测试

打开3个会话

第一个，启动监听客户端端口

输入： nc -lk 8888  
## 注意：端口可以自己定

第二个,启动flink的自带demo

##切换到flink安装目录下
cd /usr/flink/flink-1.10.0/
##启动程序，注意：端口号跟第一个端口一致
bin/flink run examples/streami

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jarvis数据之路

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

50-00-040-配置-Flink Configuration简介

九师兄

03-12

1822

1.世界 2.概述 3.Common Options 参数含义 env.java.home java安装路径，如果没有指定则默认使用系统的$JAVA_HOME环境变量。建议设置此值，因为之前我曾经在standalone模式中启动flink集群，报找不到JAVA_HOME的错误。config.sh中（Please specify JAVA_HOME. Either in Flin...

flink 配置

weixin_34354945的博客

09-27

2634

2019独角兽企业重金招聘Python工程师标准>>> ...

参与评论您还未登录，请先登录后发表或查看评论

Flink集群配置安装详解

热门推荐

lmalds的专栏

12-19

1万+

Flink configuration

Apache Flink Jar包上传漏洞复现（详细）

偷一个月亮

11-22

1363

搭建环境 wget http://mirror.bit.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz tar -zxf flink-1.9.1-bin-scala_2.11.tgz ./start-cluster.sh 记得切换目录，.sh在bin文件夹出现了一点小插曲： Please specif...

Flink高可用集群部署

10-09

系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0

Flink实战 - 搭建HA高可用集群

实践出真知

07-02

2027

一、部署说明

【Flink系列】部署篇（二）：独立部署高可用Flink集群实战

m0_37935211的博客

01-12

2256

独立模式部署高可用的Flink集群操作步骤，高可用服务采用zookeeper

【Flink系列】部署篇（三）：Native k8s部署高可用Flink集群实战

m0_37935211的博客

01-12

3043

上一篇博文介绍了如何独立部署一个高可用的Flink集群,本篇介绍如何用Native k8s去部署高可用的Flink 集群。本篇介绍的集群构建在AWS上，和构建在自己的服务器相比，主要区别在文件系统的选择和使用上。我选用的S3服务。

Flink 高可用集群部署指南

wendao76的专栏

06-05

2472

本文详细介绍了高可用Flink集群的部署方案。架构采用3节点ZooKeeper集群实现JobManager高可用，搭配3个TaskManager节点。环境准备包括主机配置、SSH免密登录和Java安装。部署过程涵盖ZooKeeper集群安装、Flink配置（包括HA设置、状态后端和资源分配）以及集群启动。文档还提供了高可用验证方法、运维管理脚本和常见问题解决方案，并给出安全增强建议。该方案确保集群具备故障恢复能力，支持检查点/保存点机制，保证作业持续运行。建议部署完成后进行完整故障转移测试。

Flink高可用集群搭建

雾幻的博客

01-23

2937

一、部署说明 flink是apache一款大数据实时计算应用，在生产环境中，用来实时计算应用产生的日志，数据等，满足预警，入库等需求二、系统环境系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.7.1 四个机器，其中1...

flink分布式高可用集群部署

雪辉博客

07-28

1416

文章目录一、部署规划1.1 版本说明1.2 服务器规划二、flink部署2.1 解压安装包并配置环境变量2.2 修改核心配置文件2.2.1 配置 flink-conf.yaml2.2.2 配置 masters、workers2.2.3 将flink jar包拷贝至lib2.2.4 将安装包分发给其他节点2.3 启动flink 一、部署规划 1.1 版本说明软硬件信息参数配置 2C2G 操作系统版本 CentOS Linux release 7.7.1908 (Core) jav

Flink部署——高可用

京河小蚁的博客

06-26

5078

JobManager 高可用（HA）模式加强了 Flink 集群防止 JobManager 故障的能力。此特性确保 Flink 集群将始终持续执行你提交的作业。JobManager 协调每个 Flink 的部署。它同时负责调度和资源管理。默认情况下，每个 Flink 集群只有一个 JobManager 实例。这会导致单点故障（SPOF）：如果 JobManager 崩溃，则不能提交任何新程序，运行中的程序也会失败。使用 JobManager 高可用模式，你可以从 JobManager 失败中恢复，

六、Flink高可用部署

ynzzxc的博客

03-29

2052

（1）下载安装包并解压到指定目录（2）修改配置文件，添加必要依赖（3）分发到其他节点，配置环境变量以dataxc用户为例，脚本示例如下： #!/bin/bash # flink.sh nodes=(n101 n102 n103) zk_connect='n101:2181,n102:2181,n103:2181' #解压flink到程序目录 cd /home/dataxc/sw && tar -zxvf flink-1.13.5-bin-scala_2.12.tgz -C

flink高可用集群搭建（Standalone模式）

hello.reader

03-23

1万+

Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。

flink standalone模式部署【高可用】

qq_36448452的博客

10-21

1959

Common【普通】 ------------------------------------------------------ jobmanager.rpc.address: localhost jobmanager.rpc.port: 6123 jobmanager.memory.process.size: 1600m taskmanager.memory.process.size: 1728m taskmanager.numberOfTaskSlots: 1 parallelism.default:

flink standalone高可用集群搭建

xuye0606的博客

06-21

398

Flink standalone模式高可用集群，有一个 JobManager 作为备用，当主 JobManager 宕机之后，备用 JobManager 顶上，等宕机的 JobManager 恢复之后，又变成备用。配置 master 与 worker内部通信端口。配置masterIP(可以指定当前服务器IP)第二步：Flink源码包解压。#如果只修改单个文件。特备注意：在配置文件。