Dinky项目在Kubernetes集群中的部署指南

Dinky项目在Kubernetes集群中的部署指南

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

前言

Dinky是一个基于Flink的实时计算平台，本文将详细介绍如何在Kubernetes集群中部署Dinky服务。通过Kubernetes部署Dinky，可以实现高可用、弹性伸缩等生产级特性，满足企业级应用需求。

环境准备

在开始部署前，请确保满足以下条件：

1. Kubernetes集群：版本1.12或更高
2. Helm工具：版本3.1.0或更高
3. 网络连接：能够访问Dinky镜像仓库
4. 存储资源：为数据库预留足够的持久化存储空间

部署流程概述

整个部署过程可分为以下几个步骤：

1. 获取Dinky安装包
2. 配置部署参数
3. 执行Helm安装
4. 验证部署结果

详细部署步骤

第一步：获取安装包

从官方渠道获取Dinky的Kubernetes部署包，该包包含Helm Chart和相关配置文件。

第二步：配置参数修改

进入部署目录后，需要修改values.yaml文件中的关键配置项。

镜像配置

image:
  repository: "docker.dinky.org.cn:32451/dinky/dev/dinky-txh"
  pullPolicy: "Always"
  tag: "1.0.2"
  pullSecret: ""

• repository：Dinky容器镜像地址
• tag：指定要部署的版本
• pullPolicy：建议设置为Always以确保获取最新镜像

数据库配置

Dinky支持两种数据库配置方式：

方式一：Kubernetes集群内部数据库

1. MySQL配置示例：

mysql:
  enabled: true
  url: "172.168.1.111:31476"
  auth:
    username: "dinky"
    password: "bigdata123!@#"
    database: "dinky-dev-1-17"

2. PostgreSQL配置示例：

postgresql:
  enabled: true
  url: "172.168.1.111:31476"
  auth:
    username: "dinky"
    password: "bigdata123!@#"
    database: "dinky-dev-1-17"

方式二：外部数据库服务

externalDatabase:
  enabled: true
  type: "mysql"
  url: "10.43.2.12:3306"
  auth:
    username: "root"
    password: "Dinky@1234567!"
    database: "dinky"

externalDatabaseService:
  clusterIP: 10.43.2.12
  port: 3306

externalDatabaseEndpoints:
  ip: 172.168.1.110
  port: 3306

重要提示：只能启用一种数据库类型，不能同时启用MySQL和PostgreSQL。

Flink版本配置

spec:
  extraEnv:
    flinkVersion: "1.17"

根据实际使用的Flink版本进行修改，确保与现有环境兼容。

资源限制配置

resources:
  limits:
    memory: "2Gi"
    cpu: "1"
  requests:
    memory: "1Gi"
    cpu: "500m"

根据实际业务需求调整CPU和内存资源限制。

第三步：执行部署

完成配置后，执行以下命令进行部署：

helm install dinky . -n dinky

此命令将在dinky命名空间中创建Dinky服务。

第四步：验证部署

部署完成后，可以通过以下方式验证：

1. 检查Pod状态：

kubectl get pods -n dinky

2. 查看服务日志：

kubectl logs -f <pod-name> -n dinky

3. 访问服务： 根据配置的Service类型，通过ClusterIP、NodePort或Ingress访问Dinky Web界面。

卸载流程

如需卸载Dinky服务，执行以下命令：

helm uninstall dinky -n dinky

生产环境建议

1. 高可用配置：通过增加replicaCount实现多副本部署
2. 监控集成：建议配置Prometheus监控和告警
3. 日志收集：集成ELK或类似日志系统
4. 定期备份：对数据库进行定期备份
5. 资源隔离：为生产环境配置合理的资源限制和请求

常见问题排查

1. 镜像拉取失败：检查网络连接和镜像仓库权限
2. 数据库连接问题：验证数据库配置和网络连通性
3. 服务不可用：检查Pod状态和日志输出
4. 性能问题：调整资源限制和JVM参数

总结

通过本文介绍的Kubernetes部署方式，可以快速在生产环境中部署Dinky服务。Kubernetes提供了强大的编排能力，结合Dinky的功能特性，能够构建稳定可靠的实时计算平台。根据实际业务需求，可以灵活调整配置参数，实现最佳部署效果。

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky