Flink on k8s 环境搭建(一)

Flink on k8s 环境搭建(二)_wangqiaowq的博客-优快云博客

Flink on Yarn的环境搭建过程中，需要进行配置较多，且需要搭建zookeeper Hadoop Yarn 等相关组件，安装流程比较复杂，集群出现问题重新安装的流程也比较复杂，且Yarn的3个节点中 只能起了 3个resourceManager和1个NodeManager，Flink 作业申请资源时只能 向NodeManager的节点申请资源，整体有资源瓶颈的隐患（后继flink作业会越来越多），现在尝试进行Flink on k8s 的环境搭建。

Flink on Kubernetes（也称为Flink on K8s）是指在Kubernetes集群上运行Apache Flink分布式流处理框架。

Kubernetes是一个开源的容器编排平台，可以帮助管理容器化的应用程序，并提供弹性、可伸缩和可靠的部署环境。结合Flink和Kubernetes，可以实现高效的大规模数据流处理。

Flink on K8s 提供了以下优势：

1. 弹性伸缩：Kubernetes可以根据负载自动扩展和收缩Flink作业所需的任务资源。
2. 容器化管理：Flink作业可以作为容器运行，并且可以受益于Kubernetes的容器化管理功能，例如版本管理、生命周期管理和监控等。
3. 故障恢复：Kubernetes可以自动检测和替代故障节点，提供高可用性和容错性，确保作业持续运行。

要在Kubernetes上运行Flink，您可以使用Apache Flink官方提供的Kubernetes部署工具或其他第三方工具，如Helm Chart。

通过Kubernetes部署Flink，您可以使用Kubernetes的API和资源管理功能，有效地管理和部署您的Flink作业。这样，您可以轻松地扩展Flink集群的规模，实现动态自动化的资源分配和作业调度。

K8s 环境搭建

 先部署 1master 和 2node 节点，后面再加一个 master 节点

一、前期工作(所有节点)

1、修改主机名

     

     

 2、配置 ssh 互信   

# 直接一直回车就行
ssh-keygen

ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigData05
ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigData06
ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigData08

3、时间同步

yum install chrony -y

systemctl start chronyd

systemctl enable chronyd

chronyc sources

3）确保每个节点上 MAC 地址和 product_uuid 的唯一性

• 你可以使用命令 ip link来获取网络接口的 MAC 地址
• 可以使用 sudo cat /sys/class/dmi/id/product_uuid 命令对 product_uuid 校验

一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 Kubernetes 使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装 失败。

 

 4、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

5、关闭 swap

# 临时关闭；关闭swap主要是为了性能考虑
swapoff -a
# 可以通过这个命令查看swap是否关闭了
free

# 永久关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab

 6、禁用 SELinux

# 临时关闭
setenforce 0
# 永久禁用
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

7、允许 iptables 检查桥接流量（可选）

• 确保 br_netfilter 模块被加载。这一操作可以通过运行 lsmod | grep br_netfilter 来完成。若要显式加载该模块，可执行 sudo modprobe br_netfilter。

• 为了让你的 Linux 节点上的 iptables 能够正确地查看桥接流量，你需要确保在你的 sysctl 配置中将 net.bridge.bridge-nf-call-iptables 设置为 1。所有节点都执行以下命令：

cat /etc/modules-load.d/k8s.conf

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

cat /etc/sysctl.d/k8s.conf

# 设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

# 应用 sysctl 参数而不重新启动
sudo sysctl --system

查看： 

cat /etc/sysctl.d/k8s.conf

在其他3个节点上重复以上操作

5）检查所需端口

netstat -tuln | grep 10250

=》master节点

协议	方向	端口范围	作用	使用者
TCP	入站	6443	Kubernetes API 服务器	所有组件
TCP	入站	2379-2380	etcd	服务器客户端 API
TCP	入站	10250	Kubelet API	kubelet 自身、控制平面组件
TCP	入站	10251	kube-scheduler	kube-scheduler 自身
TCP	入站	10252	kube-controller-manager	kube-controller-manager 自身

=》node（work）节点

协议	方向	端口范围	作用	使用者
TCP	入站	10250	Kubelet API	kubelet 自身、控制平面组件
TCP	入站	30000-32767	NodePort 服务	所有组件

 2）安装容器 docker（所有节点）

# 配置yum源
cd /etc/yum.repos.d ; mkdir bak; mv CentOS-*.repo bak/

# centos7 （本次使用centos7）  
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# centos8 （如果使用centos8 可下载这个）
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo

# 安装yum-config-manager配置工具
yum -y install yum-utils
# 设置yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装docker-ce版本
yum install -y docker-ce

这个是由于系统已经有安装过docker了，可能是之前敲过了yum -y install docker或者其他方式安装过了导致与冲突，可以使用yum list installed ｜ grep docker快速查看是否有其他已安装的docker程序，有的话全部卸载后再安装就行了 

yum list installed | grep docker

yum -y remove docker-client

 通过yum安装docker-ce报错，是因为本机安装过多次造成的，如下所示，需要解决掉冲突依赖，从新安装

rpm -e docker-common.x86_64  或 yum -y remove docker-common

重新安装

yum install -y docker-ce

  yum list installed | grep docker

 # 启动
systemctl start docker
# 开机自启
systemctl enable docker
# 查看版本号
docker --version
# 查看版本具体信息
docker version

 # Docker镜像源设置
# 修改文件 /etc/docker/daemon.json，没有这个文件就创建
# 添加以下内容后，重启docker服务：
cat >/etc/docker/daemon.json<<EOF
{
   "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
EOF

# 加载
systemctl reload docker 

# 查看
systemctl status docker containerd

 【温馨提示】dockerd 实际真实调用的还是 containerd 的 api 接口，containerd 是 dockerd 和 runC 之间的一个中间交流组件。所以启动 docker 服务的时候，也会启动 containerd 服务的。

3）配置 k8s yum 源（所有节点）

cat > /etc/yum.repos.d/kubernetes.repo << EOF

[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF
 

4）将 sandbox_image 镜像源设置为阿里云 google_containers 镜像源（所有节点）

# 导出默认配置，config.toml这个文件默认是不存在的
containerd config default > /etc/containerd/config.toml
grep sandbox_image  /etc/containerd/config.toml

sed -i "s#registry.k8s.io/pause#registry.aliyuncs.com/google_containers/pause#g" /etc/containerd/config.toml
grep sandbox_image /etc/containerd/config.toml

 5）配置 containerd cgroup 驱动程序 systemd（所有节点）

 kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替换采用 containerd 作为容器运行时端点。因此需要安装 containerd（在 docker 的基础下安装），上面安装 docker 的时候就自动安装了 containerd 了。这里的 docker 只是作为客户端而已。容器引擎还是 containerd。

如果你使用Docker作为K8S容器运行时的话，kubelet需要先要通过 dockershim 去调用Docker，再通过Docker去调用containerd。

如果你使用containerd作为K8S容器运行时的话，由于containerd内置了 CRI (Container Runtime Interface：容器运行时接口)插件，kubelet可以直接调用containerd。

grep SystemdCgroup /etc/containerd/config.toml