Apache Flink 1.14.6 Standalone 集群部署指南(适配 Hadoop 环境)

flink-standalone部署。 最近上面想要通过flink-cdc来实现mysql数据实时同步至Elasticsearch,由于可以通过sql来实现数据同步,难度和投入都相对较小。于是自己研究了下flink,由于flink-cdc 现在最高支持flink1.13的版本,所有本文使用1.13.5的版本演示部署flink集群。 flink大数据框架,官方推荐了三种集群模式: 1.standalone 2.kubernetes 3.YARN 本文通过standlone+zookeeper构建flink HA Service 项目环境 阅读详情

集群规划

节点角色 主机名 IP 地址 运行服务
JobManager hadoop1 192.168.16.219 JobManager, Web UI
TaskManager hadoop2 192.168.16.67 TaskManager
TaskManager hadoop3 192.168.16.249 TaskManager

环境准备(所有节点)

1. 安装 JDK 11(如未安装)

sudo yum install -y java-11-openjdk-devel
echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk' | sudo tee /etc/profile.d/java.sh
source /etc/profile.d/java.sh

2. 配置主机解析(所有节点)

sudo tee -a /etc/hosts << EOF
192.168.16.219 hadoop1
192.168.16.67 hadoop2
192.168.16.249 hadoop3
EOF

Flink 安装与配置(在 JobManager 节点 hadoop1 操作)

1. 下载并解压 Flink

wget https://archive.apache.org/dist/flink/flink-1.14.6/flink-1.14.6-bin-scala_2.12.tgz
tar -zxvf flink-1.14.6-bin-scala_2.12.tgz -C /opt/
sudo ln -s /opt/flink-1.14.6 /opt/flink

2. 配置环境变量

sudo tee /etc/profile.d/flink.sh << 'EOF'
export FLINK_HOME=/opt/flink
export PATH=$PATH:$FLINK_HOME/bin
EOF
source /etc/profile

3. 配置 Flink 核心文件

flink-conf.yaml
sudo tee $FLINK_HOME/conf/flink-conf.yaml << 'EOF'
# 基础配置
jobmanager.rpc.address: hadoop1
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 2

# 网络配置
taskmanager.host: 0.0.0.0
rest.address: hadoop1
rest.port: 8081

# 检查点配置
execution.checkpointing.interval: 10000
state.backend: filesystem
state.checkpoints.dir: hdfs://hadoop1:9000/flink/checkpoints

# 与Hadoop集成
fs.hdfs.hadoopconf: /usr/local/hadoop/etc/hadoop
classloader.resolve-order: parent-first
EOF
masters
sudo tee $FLINK_HOME/conf/masters << 'EOF'
hadoop1:8081
EOF
workers
sudo tee $FLINK_HOME/conf/workers << 'EOF'
hadoop2
hadoop3
EOF

4. 配置 Hadoop 集成

# 复制 Hadoop 配置文件到 Flink
sudo cp /usr/local/hadoop/etc/hadoop/core-site.xml $FLINK_HOME/conf/
sudo cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml $FLINK_HOME/conf/

分发 Flink 到所有节点

# 分发到 TaskManager 节点
scp -r /opt/flink-1.14.6 hadoop2:/opt/
scp -r /opt/flink-1.14.6 hadoop3:/opt/

# 创建符号链接
ssh hadoop2 "ln -s /opt/flink-1.14.6 /opt/flink"
ssh hadoop3 "ln -s /opt/flink-1.14.6 /opt/flink"

# 分发环境变量
scp /etc/profile.d/flink.sh hadoop2:/etc/profile.d/
scp /etc/profile.d/flink.sh hadoop3:/etc/profile.d/

# 应用环境变量
ssh hadoop2 "source /etc/profile"
ssh hadoop3 "source /etc/profile"

创建 HDFS 目录(在 hadoop1 操作)

hdfs dfs -mkdir -p /flink/checkpoints
hdfs dfs -chmod 777 /flink/checkpoints

启动 Flink 集群(在 hadoop1 操作)

# 启动集群
$FLINK_HOME/bin/start-cluster.sh

# 启动历史服务器(可选)
$FLINK_HOME/bin/historyserver.sh start

验证集群状态

1. 检查进程

# hadoop1 (JobManager)
jps | grep -E 'StandaloneSessionClusterEntrypoint|HistoryServer'

# hadoop2 和 hadoop3 (TaskManager)
jps | grep TaskManager

2. Web UI 访问

http://192.168.16.219:8081

3. 命令行验证

# 查看集群状态
$FLINK_HOME/bin/flink list

# 查看 TaskManager
$FLINK_HOME/bin/flink run -m hadoop1:8081 $FLINK_HOME/examples/streaming/WordCount.jar

运行测试作业

1. 提交 WordCount 示例

$FLINK_HOME/bin/flink run \
  -m hadoop1:8081 \
  $FLINK_HOME/examples/streaming/WordCount.jar

2. 提交 Socket 流处理示例

# 第一个终端:启动数据源
nc -lk 9999

# 第二个终端:提交作业
$FLINK_HOME/bin/flink run \
  -m hadoop1:8081 \
  $FLINK_HOME/examples/streaming/SocketWindowWordCount.jar \
  --port 9999

集群管理命令

常用命令

# 启动集群
$FLINK_HOME/bin/start-cluster.sh

# 停止集群
$FLINK_HOME/bin/stop-cluster.sh

# 启动历史服务器
$FLINK_HOME/bin/historyserver.sh start

# 停止历史服务器
$FLINK_HOME/bin/historyserver.sh stop

作业管理

# 提交作业
$FLINK_HOME/bin/flink run -m hadoop1:8081 /path/to/job.jar

# 取消作业
$FLINK_HOME/bin/flink cancel <jobid>

# 保存点操作
$FLINK_HOME/bin/flink savepoint <jobid> hdfs://hadoop1:9000/flink/savepoints

集成 Hadoop YARN(可选)

1. 配置 YARN 模式

# 设置环境变量
echo 'export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop' | sudo tee -a /etc/profile.d/flink.sh
source /etc/profile

# 测试 YARN 集成
$FLINK_HOME/bin/flink run-application -t yarn-application \
  -Djobmanager.memory.process.size=2048m \
  -Dtaskmanager.memory.process.size=4096m \
  $FLINK_HOME/examples/streaming/WordCount.jar

2. YARN 常用命令

# 查看 YARN 应用
yarn application -list

# 停止 Flink YARN 应用
yarn application -kill <applicationid>

故障排查

1. 查看日志

# JobManager 日志
tail -f $FLINK_HOME/log/flink-*-standalonesession-*.log

# TaskManager 日志
tail -f $FLINK_HOME/log/flink-*-taskexecutor-*.log

2. 常见问题解决

端口冲突
# 查看端口占用
netstat -tunlp | grep <端口号>
HDFS 权限问题
# 修复 HDFS 权限
hdfs dfs -chmod -R 777 /flink
内存配置错误
# 调整 flink-conf.yaml
jobmanager.memory.process.size: 2048m
taskmanager.memory.process.size: 4096m

生产环境建议

1. 安全配置

# flink-conf.yaml
security.ssl.enabled: true
security.ssl.keystore: /path/to/keystore.jks
security.ssl.truststore: /path/to/truststore.jks

2. 高可用配置

# flink-conf.yaml
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop1:9000/flink/ha/
high-availability.zookeeper.quorum: hadoop1:2181,hadoop2:2181,hadoop3:2181

3. 监控配置

# flink-conf.yaml
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter
metrics.reporter.prom.port: 9250-9260

4. 资源隔离

# 为 Flink 创建专用用户
sudo useradd -m -s /bin/bash flink
sudo chown -R flink:flink /opt/flink-1.14.6

卸载 Flink

# 停止服务
$FLINK_HOME/bin/stop-cluster.sh
$FLINK_HOME/bin/historyserver.sh stop

# 删除文件
sudo rm -rf /opt/flink-1.14.6
sudo rm /opt/flink
sudo rm /etc/profile.d/flink.sh

# 清理 HDFS
hdfs dfs -rm -r /flink

版本升级

# 1. 停止当前集群
$FLINK_HOME/bin/stop-cluster.sh

# 2. 备份配置
cp -r $FLINK_HOME/conf /tmp/flink-conf-backup

# 3. 下载新版本
wget https://archive.apache.org/dist/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz

# 4. 解压并迁移配置
tar -zxvf flink-1.15.0-bin-scala_2.12.tgz -C /opt/
cp /tmp/flink-conf-backup/* /opt/flink-1.15.0/conf/

# 5. 更新符号链接
ln -sfn /opt/flink-1.15.0 /opt/flink

# 6. 启动新集群
$FLINK_HOME/bin/start-cluster.sh

通过以上步骤,您可以在已有的 Hadoop 集群上成功部署 Apache Flink 1.14.6 Standalone 集群,并实现与 HDFS 的集成。</端口号></applicationid></jobid></jobid>

flink standalone部署模式 flink standalone 阅读详情

相关推荐

【超详细】Apache Flink 1.17.x 分布式集群安装教程(Standalone 模式)

本文介绍了在CentOS 7.9系统上搭建Apache Flink 1.17.1 Standalone集群的详细步骤。集群采用一主两从架构,包含一个JobManager节点和两个TaskManager节点。文章从安装前的环境准备(主机名配置、Java安装、SSH免密登录)开始,逐步指导完成Flink的下载安装、配置文件修改(包括flink-conf.yaml、workers和masters文件)、集群启动验证等关键步骤。最后通过提交WordCount示例任务测试集群运行情况,并提供了常见问题的解决方案。该教

m0_65079826的博客 1001

Flink Standalone部署模式

独立模式(Standalone)是部署 Flink 最基本也是最简单的方式: 所需要的所有 Flink 组件, 都只是操作系统上运行的一个 JVM 进程。独立模式是独立运行的, 不依赖任何外部的资源管理平台; 当然独立也是有代价的: 如果资源不足, 或者出现故障, 没有自动扩展或重分配资源的保证, 必须手动处理。所以独立模式 一般只用在开发测试或作业非常少的场景下。另外, 我们也可以将独立模式的集群放在容器中运行。 Flink 提供了独立模式的容器化部署方式,可以在 Docker 或者 Kubernetes

陈小哥cw 2625

Flink部署-standalone模式

安装环境信息 flink-1.6.2-bin-hadoop27-scala_2.11.tgz hadoop-2.7.5 java 1.8 zookeeper 3.4.6 os:centos 6.4 1、下载 直接去flink的社区下载就可以了。http://flink.apache.org/downloads.html 2、解压 tar -zxvf flink-1.6.2-bin-hadoop...

Xlucas的博客 5844

Flink:StandAlone模式部署

Flink:StandAlone模式部署

程序员无羡的博客 979

【Flink】flink的安装部署(1)

Flink集群的搭建,local,standalone,flink on yarn。

hx1156477702的博客 3006

第 4 节 Flink standalone集群安装部署

上篇:第 3 节 Flink standalocal集群安装以及集群代码提交执行 1、Flink集群安装部署standalone+yarn standalone模式 准备工作: (1)集群节点划分:3台(一主两从) flink105、 flink106、 flink107 (2) jdk:1.8以上 (3) ssh免密码登陆(至少要实现能够免密码登陆到从节点) (4) 主机名hostname(文...

weixin_39868387的博客 424

flink-1.14.4-bin-scala-2.12.tgz

flink-1.14.4-bin-scala_2.12.tgz

Flink安装部署详细指南

负责协调分布式任务的执行,如调度任务、协调检查点(Checkpoint)、故障恢复等。它是集群的“大脑”。负责执行数据流中的具体任务(Tasks),并提供内存来存储缓存数据。每个 Worker 都是一个 JVM 进程。先启动一个长期运行的集群(包含 JobManager 和 TaskManagers),然后向这个集群提交多个作业。所有作业共享集群资源。适合执行时间短、交互式的查询作业。为每个提交的作业启动一个独立的集群。作业完成后,集群资源释放。作业之间资源隔离性好,适合长期运行的大型作业。

ITHomeZSL的博客 990

【Flink】1.Flink集群部署

flink集群部署:standalone和flink-on-yarn

weixin_44718672的博客 2451

hadoop 3.x大数据集群搭建系列5-安装Flink

hadoop 大数据平台搭建 Flink 大数据平台搭建 Flink on yarn

只是甲的博客 2263

Flink教程(1)-集群安装与部署

Flink教程。Flink集群安装部署。Flink 是一个同时具备流数据处理和批数据处理的分布式计算框架。Flink代码主要是由 Java 实现,部分代码由 Scala实现。Flink既可以处理有界的批量数据集、也可以处理无界的实时数据集。就业界的使用情况而言,Flink处理的主要场景是流式数据。Flink不同于Spark、Hadoop, Flink称得上是一款真正的流、批统一的大数据计算框架。

鸟哥哥的专栏 2万+

大数据Hadoop之——Flink1.17.0安装与使用(非常详细)

Flink安装部署指南摘要:本文详细介绍了Flink的本地和集群安装配置流程。首先进行系统环境准备,包括网络配置、主机名设置、防火墙关闭等;然后安装JDK(注意版本兼容性,1.17+需JDK11);接着分步骤完成Flink本地安装(下载解压、环境变量配置、启动验证)。对于集群部署,说明Standalone模式的搭建方法(修改配置文件、分发文件、启动集群)和HA高可用方案(基于Zookeeper实现故障转移)。文档包含完整的命令操作示例,并强调版本兼容性问题,最后通过WordCount示例验证集群运行状态。

qq_41946216的博客 2582

Apache Flink连载(十一):Flink集群部署-Standalone集群部署

🏡🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。Flink的安装和部署主要分为本地(单机)模式和集群模式,其中本地模式只需直接解压就可以使用,不用修改任何参数,一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等,Flink可以借助以上资源管理器来实现分布式计算,目前企业使用最多的是Flink 基于Hadoop Yarn资源管理器模式,本小节我们重点讲解Flink 基于Standalone集群。

qq_32020645的博客 1485

Flink的local和standalone HA安装部署

1、local模式 flink的local模式运行在单个jvm中。同时local方便快速测试。 安装方式: 需求: Java 1.8.x or higher, ssh 1、下载 2、解压 [root@hadoop01 local]# tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/ [root@hadoop01 local]# cd ./flink-1.9.1/ 3、配置环境变量 export FLINK_HOME=/usr/l

Aidon博客 861

flink-1.14.5-bin-scala_2.12.tgz

flink-1.14.5-bin-scala_2.12.tgz

flink1.14.6版本 lib目录依赖jar包

flink-connector-jdbc_2.12-1.14.6.jar、flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.2.1.jar、mysql-connector-java-5.1.27-bin.jar、flink-dist_2.12-1.14.6.jar、flink-faker-0.5.0.jar、flink-table_2.12-1.14.6.jar等等

Apache Flink1.13.x HA集群部署

关于 Hadoop 集群和 ZooKeeper 集群的搭建可以参考: Hadoop 集群环境搭建 Zookeeper 单机环境和集群环境搭建

IT 2209

flink-1.14.5-bin-scala_2.11.tgz

flink-1.14.5-bin-scala_2.11.tgz

上一篇: centos 7.5 + Hadoop 3.2.4 集群搭建
下一篇: Apache Spark 3.2.0 开发测试环境部署指南
Viking_bird
博客等级 码龄11年 92粉丝 183原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值