TuGraph Analytics云原生部署：基于K8S Operator的轻量级作业启动方案

作者：丁一

背景

TuGraph Analytics作业可以通过Console提交部署到K8S集群，但Console是一个独立的Web系统，部署形态上相对较重。在平台工具系统接入或大数据生态集成场景中，需要更轻量级的快速接入TuGraph Analytics的方案。
我们新增了模块geaflow-kubernetes-operator，可以通过更轻量级的YAML文件配置方式，对TuGraph Analytics作业进行描述配置。同时更方便地监控和管理集群下的所有TuGraph Analytics作业，并通过CR(Custom Resource)的创建/修改/删除来管理作业的生命周期和元信息，可以实现只通过kubectl命令实现任务操纵。我们也提供了一个实时dashboard页面，可以方便地白屏化查看所有作业状态和信息。

部署K8S Operator

TuGraph Analytics提供了geaflow-kubernetes-operator模块，可通过Helm命令一键部署到K8S。部署完成中，会向K8S集群注册一个名为geaflowjob的自定义资源。（相对于K8S内置pod、service、deployment等系统资源而言）
安装完成后，我们只需要编写一个CR的YAML配置文件提交给K8S，就可以自动拉起作业了。

• 执行以下命令构建Operator镜像，项目代码构建要求JDK11版本，因此需要单独切换JDK版本编译构建。

$ ./build-operator.sh

• 进入项目目录geaflow-kubernetes-operator下，通过Helm一键安装operator。

$ helm install geaflow-kubernetes-operator helm/geaflow-kubernetes-operator

• 在K8S Dashboard中查看pod是否正常运行。

提交作业

K8S Operator成功部署并运行后，就可以编写CR的YAML文件进行作业提交了。

$ kubectl apply geaflow-example.yml

这里使用项目内置示例作业举例，其YAML文件格式如下：

apiVersion: geaflow.antgroup.com/v1
kind: GeaflowJob
metadata:
	# 作业名称
  name: geaflow-example
spec:
	# 作业使用的GeaFlow镜像
  image: geaflow:0.1
  # 作业拉取镜像的策略
  imagePullPolicy: IfNotPresent
  # 作业使用的k8s service account