Dinky项目集群管理功能详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00444/article/details/148577915

Dinky项目集群管理功能详解

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

概述

Dinky作为一个强大的数据开发平台，其集群管理功能是支撑Flink作业执行的核心组件。本文将深入解析Dinky中的集群管理功能，帮助用户理解并掌握如何配置和管理不同类型的Flink集群。

集群类型支持

Dinky支持多种Flink集群模式，每种模式适用于不同的使用场景：

Standalone集群：
- 特点：独立部署的Flink集群
- 适用场景：开发和测试环境，小规模生产环境
- 功能支持：既可用于交互式查询，也可提交异步作业
Yarn集群：
- Session模式：长期运行的集群
  - 特点：资源共享，适合短作业
  - 功能支持：交互式查询和异步提交
- Per-job模式：作业独立集群
  - 特点：资源隔离，适合长作业
  - 功能支持：仅异步提交
- Application模式：应用级别集群
  - 特点：更高级的资源管理
  - 功能支持：仅异步提交
Kubernetes集群：
- Session模式：类似Yarn Session
- Application模式：类似Yarn Application

集群实例管理

功能概述

集群实例管理主要用于管理已经部署好的Session模式集群，包括Standalone、Yarn Session和Kubernetes Session。

核心操作

注册集群实例：
- 导航路径：注册中心 > 集群管理 > 集群实例管理 > 新建
- 关键参数配置：
  - 名称：必填，需唯一
  - 类型：选择集群类型
  - JobManager HA地址：填写REST API地址，多个地址用英文逗号分隔
日常管理：
- 心跳检测：检查集群健康状态
- 编辑/删除：维护集群信息
- 搜索：快速定位特定集群

最佳实践

对于生产环境，建议配置HA地址以提高可用性
定期执行心跳检测，确保集群可用性
合理命名集群实例，便于管理

集群配置管理

功能概述

集群配置管理用于定义如何创建和连接Per-job和Application模式的集群。

核心配置

基础配置：
- 类型：选择Flink on Yarn或Flink on Kubernetes
- 标识：唯一英文标识符
- 启用状态：控制配置是否生效
Hadoop配置：
- 配置文件路径：指定包含core-site.xml等核心配置文件的目录
- 自定义配置：可覆盖默认配置（高级功能）
Flink配置：
- lib路径：HDFS上Flink运行时依赖的位置
- 配置文件路径：flink-conf.yaml的具体位置
- 自定义参数：调整Flink运行时行为

配置技巧

确保Hadoop配置文件的完整性和正确性
对于生产环境，建议启用配置前进行全面测试
合理使用自定义配置，避免冲突

集群信息查看

信息字段说明

| 字段 | 说明 | 典型值 | |------|------|--------| | 名称 | 集群唯一标识 | 如"prod-flink-cluster" | | 类型 | 集群运行模式 | Standalone/Yarn/Kubernetes | | 状态 | 运行状态 | 正常/异常 | | 版本 | Flink版本 | 如1.13.6 | | 注册方式 | 创建方式 | 手动/自动 |