Flink on k8s 环境搭建(三) 待完善

该文章详细介绍了如何在Kubernetes环境中搭建Flink集群,包括通过Dockerfile自定义Flink镜像、设置Flink日志持久化到NFS、配置NFS服务、实现Flinkcheckpoint存储以及利用keeplived实现高可用的虚拟IP。步骤涵盖从NFS服务器的安装、配置,到keeplived的配置和脚本编写,确保了Flink集群的稳定运行和故障切换。

 flink on k8s 实践

Flink on k8s 环境搭建(二)_wangqiaowq的博客-优快云博客

Flink 需要考虑3个问题

1、Flink需要添加部分依赖包到flink/lib下,所以需要通过dockfile的方式自定义制作flink image
2、flink 日志持久化

3、flink checkpoint 的存储 和 NFS的安装

1)安装 nfs

1、所有节点安装 nfs

yum -y install  nfs-utils rpcbind

2、在 master 节点创建共享目录并授权

mkdir /opt/nfsdata

#授权共享目录

chmod 666 /opt/nfsdata/

3、配置 exports 文件

cat > /etc/exports<<EOF
/opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
EOF

exportfs -r
systemctl start rpcbind
systemctl start nfs-server
systemctl enable rpcbind
systemctl enable nfs-server
Created symlink from /etc/systemd/system/multi-u

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值