DataLinkDC Dinky 在 Kubernetes 集群中的部署指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00048/article/details/148577551

DataLinkDC Dinky 在 Kubernetes 集群中的部署指南

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

前言

DataLinkDC Dinky 是一款基于 Flink 的实时计算平台，提供了丰富的功能来管理和开发 Flink 作业。本文将详细介绍如何在 Kubernetes 集群中部署 Dinky 服务，帮助用户快速在生产环境中搭建 Dinky 平台。

环境准备

在开始部署前，请确保您的环境满足以下要求：

Kubernetes 集群：版本要求 1.12 或更高
Helm 工具：版本要求 3.1.0 或更高
网络连接：能够访问 Docker 镜像仓库

部署步骤详解

第一步：获取 Dinky 安装包

首先需要下载 Dinky 的安装包，其中包含了 Helm Chart 部署所需的全部文件。请确保下载与您 Flink 版本相匹配的 Dinky 版本。

第二步：配置 Helm Chart

Dinky 使用 Helm Chart 进行 Kubernetes 部署，主要配置文件位于 deploy/kubernetes/helm/dinky/values.yaml。我们需要根据实际环境修改以下几个关键配置：

1. 镜像配置

image:
  repository: "dinkydocker/dinky-standalone-server"
  pullPolicy: "Always"
  tag: "1.0.3-flink1.17"
  pullSecret: ""

repository：指定 Dinky 的 Docker 镜像仓库
tag：指定镜像版本，注意要与您的 Flink 版本匹配
pullPolicy：建议设置为 Always 以确保总是获取最新镜像

2. 数据库配置

Dinky 支持两种数据库后端：MySQL 和 PostgreSQL，但只能选择其中一种启用。

MySQL 配置示例：

mysql:
  enabled: true
  url: "172.168.1.111:31476"
  auth:
    username: "dinky"
    password: "bigdata123!@#"
    database: "dinky-dev-1-17"

PostgreSQL 配置示例：

postgresql:
  enabled: true
  url: "172.168.1.111:31476"
  auth:
    username: "dinky"
    password: "bigdata123!@#"
    database: "dinky-dev-1-17"

3. 外部数据库配置

如果数据库服务部署在 Kubernetes 集群外部，需要配置外部数据库连接：

externalDatabase:
  enabled: true
  type: "mysql"
  url: "10.43.2.12:3306"
  auth:
    username: "root"
    password: "Dinky@1234567!"
    database: "dinky"

externalDatabaseService:
  clusterIP: 10.43.2.12
  port: 3306

externalDatabaseEndpoints:
  ip: 172.168.1.110
  port: 3306

4. Flink 版本配置

spec:
  extraEnv:
    flinkVersion: "1.17"

请确保此处配置的 Flink 版本与您实际使用的版本一致。

5. 资源限制配置

resources:
  limits:
    memory: "2Gi"
    cpu: "1"
  requests:
    memory: "1Gi"
    cpu: "500m"

根据您的集群资源情况合理配置这些参数，避免资源不足或浪费。

第三步：部署 Dinky

完成配置后，使用 Helm 命令进行部署：

cd dinky-release-${FLINK-VERSION}-${DINKY-VERSION}/deploy/kubernetes/helm/dinky
helm install dinky . -n dinky

这条命令会在名为 dinky 的命名空间中部署 Dinky 服务。

第四步：验证部署

部署完成后，可以通过以下方式验证：

检查 Pod 状态：
```
kubectl get pods -n dinky
```
确保 Pod 状态为 Running
检查服务状态：
```
kubectl get svc -n dinky
```
确认服务已正确创建
访问 Dinky Web UI：根据您的服务暴露方式（NodePort、LoadBalancer 或 Ingress），访问 Dinky 的 Web 界面

高级配置选项

Ingress 配置

如果需要通过 Ingress 暴露 Dinky 服务，可以启用并配置 Ingress：

ingress:
  enabled: true
  className: "nginx"
  annotations:
    kubernetes.io/ingress.class: nginx
  hosts:
    - host: dinky.example.com
      paths:
        - path: /
          pathType: Prefix

服务账户配置

Dinky 可以创建专用的服务账户：

dinkyServiceAccount:
  create: true
  name: "dinky"
  annotations: {}

健康检查配置

Dinky 提供了完善的健康检查机制：

livenessProbe:
  enabled: true
  initialDelaySeconds: 90
  periodSeconds: 30

readinessProbe:
  enabled: true
  initialDelaySeconds: 90
  periodSeconds: 30