03实现Flink集群的部署——Flink

最新推荐文章于 2025-04-25 23:39:01 发布
原创 最新推荐文章于 2025-04-25 23:39:01 发布 · 172 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍Flink集群的部署步骤及关键配置项，包括解压安装包、配置Flink参数、设置JAVA_HOME、配置taskmanager及分发配置文件等。通过本教程，读者将学会如何从零开始搭建并启动Flink集群。

官网中，有两种版本，一种是有hadoop支持的版本，一种是没有hadoop支持的版本

解压后重点有两个目录，一个是bin，一个是conf

1、解压到指定目录

tar -zxvf flink-1.7.2-bin-scala_2.11.tgz -C local/

2、

配置
Flink的配置很简单。 我们需要调整一些参数，我们都已设置好。 作业管理器节点和任务管理器节点的大多数配置都相同。 所有配置都在conf/flink-conf.yaml文件中完成。下面配置
进入目录

cd /usr/flink-1.6.2/conf

vi flink-conf.yaml

需要修改的参数是：jobmanager.rpc.address: localhost

localhost改为主机hostname，我这里的hostname为job.

第二步：配置JAVA_HOME
还有我们需要添加JAVA_HOME

export JAVA_HOME=/usr/...

第三步：配置taskmanager

  1. vi slaves

复制代码

第四步：分发配置文件

  1. scp -r conf/ aboutyun@task1:~
  2. scp -r conf/ aboutyun@task1:~

 第五步：启动集群
进入bin目录

  1. ./start-cluster.sh

复制代码

 

 

 

 

 

 

Flink部署与应用——Flink集群模式
从知识输入到知识输出
06-27 1426
Flink部署与应用——Flink集群模式
【Flink系列】部署篇（一）：Flink集群部署
m0_37935211的博客
01-12 4582
Flink集群是由哪些组件组成的？它们彼此之间如何协调工作的？ 在Flink中job, task, slots,parallelism是什么意思？集群中的资源是如何调度和分配的？ 如何搭建一个Flink集群？如何配置高可用服务？如何使用外部文件系统？
Flink1.13集成Hadoop3.x以上版本
yingzi的技术博客
07-16 2900
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. For a full list of
hadoop3.2.4集成flink 1.17.0
qq_34526237的博客
05-24 4365
hadoop，flink，集成
Flink+hadoop部署及Demo
Persistence___的博客
05-25 2239
上传并解压到3台服务器配置3台主机的hosts和免密登录。
flink1.13+ 集成hadoop 遇到问题及解决方法
ReturnTmp的博客
08-11 3243
问题１：在 Flink 1.11.0 版本之后,增加了很多重要新特性,其中就包括增加了对 Hadoop3.0.0 以及更高版本 Hadoop 的支持,不再提供“flink-shaded-hadoop-*”jar 包,而是通过配置环境变量完成与 YARN 集群的对接。在将 Flink 任务部署至 YARN 集群之前,需要确认集群是否安装有 Hadoop,保证 Hadoop版本至少在 2.2 以上,并且集群中安装有 HDFS 服务。...
flink 1.10/1.11 master 编译报错：flink-azure-fs-hadoop 找不到json-smart等
X_Yde
12-26 2104
编译flink时，报如下类似错误： [ERROR] Failed to execute goal on project flink-connector-gcp-pubsub_2.11: Could not resolve dependencies for project org.apache.flink:flink-connector-gcp-pubsub_2.11:jar:1.10-SN...
Flink集群部署
Dragon_Z的博客
03-19 1891
客户端把Flink应用提交给Yarn的ResourceManager，Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。通过WebUI提交作业，具体流程可参考上面，提交后可见Yarn动态分配了1个Task Managers，将作业取消后又变为0个，被Yarn回收资源。在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。然后用同样的方法在WebUI查看该作业。
Flink部署与应用——部署方式介绍
从知识输入到知识输出
04-25 1304
Flink部署与应用——部署
Flink Standalone集群模式安装部署全攻略
qq_68076599的博客
11-22 1258
Flink作为一款强大的分布式流处理和批处理框架，在大数据领域有着广泛的应用。本文将详细介绍Flink Standalone集群模式的安装部署过程，帮助大家快速搭建起开发测试环境。
Flink实战——集群搭建
m0_46332441的博客
04-09 3800
下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。，本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。，则在其余两台节点服务器（hadoop01和hadoop02）上。上，其中，目录位置可以自定义，本文上传的目录位置为。
flink1.11 yarn模式找不到包的问题
m0_37236476的博客
07-14 1342
flink启动yarn集群模式时找不到包报错 类似这样 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701).
Flink的RocksDBStateBackend一些使用经验
wangshuo2019的博客
07-10 1万+
Flink的RocksDBStateBackend一些使用经验 一、idea依赖 RocksDBStateBackend是Flink中内置的第三方状态管理器，和其他两种（MemoryStateBackend和FsStateBackend）不同，使用时需添加相关依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebacken
Tomcat为何出现Protocol handler initialization failed问题
热门推荐
火麒马
12-15 1万+
通过Tomcat的log文件，查看启动不了的原因。 15-Dec-2020 10:56:13.693 严重 [main] org.apache.catalina.core.StandardService.initInternal Failed to initialize connector [Connector[AJP/1.3-8099]] org.apache.catalina.LifecycleException: Failed to initialize component [Connect..
jdk1.8+ Maven 的安装
火麒马
06-24 1万+
其实电脑已经装了jdk1.8了 现在就是安装maven了 1. 下载安装包 http://maven.apache.org/download.cgi 翻译之后： 操作如下： 1、先解压 2、配置环境变量 配置MAVEN_HOME环境变量 在原path变量中点击编辑，添加一项：%MAVEN_HOME%\bin; 然后一路确定 接着就是测试安装的maven 3、 maven的本地仓库的配置 maven仓库有三种类型： 本地仓库（l...
IDEA修改缓存配置目录&maven目录
火麒马
06-11 1949
在IDEA安装包、或者解压包的bin目录下，找到idea.properties 现在进行修改
设置域名
火麒马
04-19 628
1、在主机上添加域名 2、 Http默认是访问80端口的，有两种解决方案 一种是直接访问目标端口号 例如9002端口 就用www.test.com:9002来访问 另外一种可以设置反向代理，例如大名鼎鼎的nginx和apache. Nginx反向代理 https://www.jb51.net/article/168458.htm ...
VMware新建虚拟机的自定义安装——1
火麒马
06-04 541
当前还是属于一台裸机，接下来还需要安装磁盘 选择第一个回车，进入下面页面 先查看网段是多少 重启后可以登录了 ...
IIS服务器的使用
火麒马
04-19 436
打开IIS服务器 控制面板——》大图标——》工具管理 双击打开 选择右侧栏的“停止”，IIS服务就会停止了。 选中左侧栏的“网站”——“Default Web Site”，然后，看到右侧栏的“操作”上，选择“绑定”。 看到弹出的窗口，第一行就是默认的连接端口80端口。选择第一行的“http”，点击右侧的“编辑”。在弹出的窗口中修改“端口”的内容，可以修改为“9980”或者其他端口。 ...
flink 集群部署，如何实现增加服务器弹性扩容
最新发布
11-05
### ✅ 问题：Flink 集群部署，如何实现增加服务器弹性扩容？ --- ## 🚀 简短回答： > **Apache Flink 支持通过添加 TaskManager 节点来实现“弹性扩容”**，但 **Job 必须使用 Savepoint 或 Checkpoint 恢复才能利用新增资源提升并行度。** 📌 核心流程： 1. ✅ 停止当前作业（生成 Savepoint） 2. ✅ 增加新的 TaskManager 服务器 3. ✅ 修改 Job 并行度（或让其自动扩展） 4. ✅ 从 Savepoint 重启作业 5. ✅ Flink 自动将子任务重新分配到更多节点上运行 👉 实现了：**水平扩展 + 利用更多 CPU/内存资源处理更大流量** --- ## 🔍 详细解释与实操方案 ### 一、Flink 集群架构回顾 | 组件 | 角色 | |------|------| | **JobManager (JM)** | 负责调度、协调 Checkpoint、管理元数据 | | **TaskManager (TM)** | 执行具体任务（Subtask），提供 Slot 资源 | | **Client** | 提交作业，不参与运行 | ✅ 弹性扩容的本质： > ➕ 动态增加 **TaskManager** 实例 → 提供更多 Slot → 支持更高并行度 --- ### 二、弹性扩容的完整步骤（以 Standalone 或 Kubernetes 部署为例） #### ✅ 步骤 1：停止原作业并创建 Savepoint ```bash # 查询正在运行的作业 ID flink list -m yarn-cluster -yid application_1234567890 -j <jobmanager-host>:8081 # 触发停止并生成 Savepoint flink cancel -s file:///opt/flink/savepoints -m <jobmanager-address> <job-id> ``` 输出示例： ``` Savepoint stored in file:/opt/flink/savepoints/savepoint-abc123 ``` 📌 这个路径就是状态快照地址，后续恢复要用。 --- #### ✅ 步骤 2：横向扩展集群 —— 添加新 TaskManager ##### 方式①：Standalone 模式（手动启动 TM） 在新服务器上执行： ```bash # 启动一个 TaskManager ./bin/taskmanager.sh start ``` 前提条件： - `flink-conf.yaml` 中已配置正确的 `jobmanager.rpc.address` - 网络互通、共享存储（用于 Savepoint） ##### 方式②：Kubernetes 部署（推荐生产环境） 修改 Deployment 或 StatefulSet 的副本数： ```yaml apiVersion: apps/v1 kind: StatefulSet metadata: name: flink-taskmanager spec: replicas: 4 # 原来是 2，现在扩到 4 ... ``` 应用更新： ```bash kubectl apply -f flink-tms.yaml ``` 等待新 Pod 启动并注册到 JobManager。 ##### 方式③：YARN 模式 直接提交作业时指定更多容器： ```bash flink run -m yarn-cluster -yn 4 -ys 4 -yjm 1024 -ytm 2048 ... ``` > `-yn 4`: 请求 4 个 TaskManager 容器 --- #### ✅ 步骤 3：调整 Job 并行度（可选） 你可以在代码中设置更高的并行度，或通过命令行覆盖： ```java // 在代码中（也可以不用改） env.setParallelism(8); // 原来是 4 ``` 或者通过 CLI 指定： ```bash flink run -p 8 -s file:///opt/flink/savepoints/savepoint-abc123 ./my-job.jar ``` ✅ 注意： - 新的并行度不能超过 `总 Slot 数` - 如果原来是 keyBy 后的算子并行度为 4，现在可以扩到 8，Flink 会自动 re-balance --- #### ✅ 步骤 4：从 Savepoint 重启作业 ```bash flink run \ -m <jobmanager-host>:8081 \ -s file:///opt/flink/savepoints/savepoint-abc123 \ -p 8 \ ./my-streaming-job.jar ``` ✅ 效果： - 状态从 Savepoint 恢复 - 子任务被重新划分到更多的 TaskManager 上 - 吞吐量理论上提升近 2 倍（假设资源充足） --- ### 三、关键配置建议（确保扩容成功） | 配置项 | 推荐值 | 说明 | |--------|--------|------| | `state.backend` | `filesystem` 或 `rocksdb` | 使用外部化存储 | | `execution.checkpointing.externalized-checkpoint-retention` | `RETAIN_ON_CANCELLATION` | 保留 Checkpoint | | `high-availability` | `zookeeper` / `k8s` | 支持 JobManager 容错 | | `state.checkpoints.dir` | HDFS/S3/NFS 路径 | 共享状态目录 | | `parallelism.default` | 可动态调整 | 不硬编码在代码中更好 | --- ### 四、支持自动弹性扩容吗？（进阶） Flink **本身不提供自动伸缩机制**，但可通过以下方式实现“近似自动扩容”： #### ✅ 方案①：监控 + 外部控制器（如 K8s Operator） - 使用 [**Flink Kubernetes Operator**](https://github.com/apache/flink-kubernetes-operator) - 监控反压、背压、延迟等指标 - 当 CPU > 80% 持续 5 分钟 → 自动触发 Savepoint → 扩容 TM → 重启作业 #### ✅ 方案②：结合 Prometheus + Alertmanager + 自定义脚本 ```bash # 示例自动化脚本逻辑 if [ $(get_backpressured_subtask_ratio) -gt 0.7 ]; then flink cancel -s s3a://savepoints/ $JOB_ID scale_out_taskmanagers # 扩容 TM sleep 30 flink run -s s3a://savepoints/savepoint-$JOB_ID -p 16 $JAR fi ``` --- ### 五、代码层面的最佳实践（便于扩容） #### ✅ 使用 `uid()` 固定算子 ID（避免状态不兼容） ```java DataStream<String> stream = env .addSource(new FlinkKafkaConsumer<>("topic", schema, props)) .setUid("kafka-source") // ← 必须加！ .keyBy(value -> value.getKey()) .setUid("keyed-process") .process(new MyStatefulFunction()) .setUid("stateful-processor"); ``` ⚠️ 如果你不加 `uid()`，Flink 会根据拓扑生成随机 ID，导致： > ❌ 扩容后无法恢复状态！ --- ### 六、验证扩容是否生效 #### 方法①：查看 Web UI - 访问 `http://<jobmanager>:8081` - 查看 **"Task Managers"** 页面：确认新增节点已连接 - 查看 **"Job -> Execution Graph"**：确认并行度已变为 8 #### 方法②：日志检查 ```log INFO Recovered operator state for kafka-source from checkpoint ... INFO Parallelism changed from 4 to 8, redistributing state... ``` #### 方法③：监控吞吐量 - 观察 Records/s 是否显著上升 - 背压是否缓解 --- ## ✅ 总结 > ❓ “Flink 如何实现弹性扩容？” > ✅ **答案：** > > Flink 支持通过 **增加 TaskManager 服务器 + 从 Savepoint 恢复作业** 实现弹性扩容。 > > 关键步骤： > 1. 停止作业并生成 Savepoint > 2. 添加新的 TaskManager 节点 > 3. 调整并行度 > 4. 从 Savepoint 重启作业 > > ✅ 支持所有状态类型（KeyedState、OperatorState、广播状态）恢复 > ⚠️ 必须保证状态后端可访问、算子 UID 一致 🔧 推荐部署模式： - 生产环境使用 **Kubernetes + Flink Operator** - 状态存放在 **S3/HDFS/NFS** - 使用 **Savepoint** 而非 Checkpoint 进行版本升级和扩容 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值