Dinky项目中的Catalog管理详解

Dinky项目中的Catalog管理详解

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky

什么是Catalog

在Flink生态系统中，Catalog是一个非常重要的概念，它充当着元数据管理的核心角色。简单来说，Catalog就是一个集中存储和管理表、视图、函数等元数据的仓库。Dinky作为基于Flink的实时计算平台，对Catalog管理提供了完善的支持。

Flink原生Catalog类型

Flink原生支持以下几种Catalog类型：

1. GenericInMemoryCatalog：内存型Catalog，所有元数据仅保存在内存中，重启后即丢失，适合测试环境使用。

2. JdbcCatalog：基于JDBC连接的Catalog，可以将元数据持久化到关系型数据库中。

3. HiveCatalog：与Hive Metastore集成的Catalog，能够直接使用Hive的元数据。

4. 用户自定义Catalog：开发者可以根据业务需求实现自定义的Catalog。

Dinky扩展的Catalog

除了支持Flink原生Catalog外，Dinky还扩展了两种实用的Catalog：

1. Session会话级别Catalog：仅在当前会话中有效的临时Catalog。

2. Mysql Catalog：基于MySQL实现的持久化Catalog，是Dinky推荐的生产环境解决方案。

Hive Catalog详解

核心优势

Hive Catalog是生产环境中常用的选择，主要优势包括：

• 与Hive生态无缝集成
• 元数据持久化到Hive Metastore
• 支持跨作业共享元数据

配置步骤

1. 环境准备：

   • 确保Hive Metastore服务已启动
   • 验证服务状态：ps -ef|grep metastore

2. 依赖配置：

   • 将flink-sql-connector-hive-x.x.x_x.xx-x.x.x.jar放入：
     • Flink的lib目录
     • Dinky的plugins目录

3. 版本兼容性：

   • 不同Flink版本对Hive的支持有所差异
   • 需根据实际使用的Flink版本查阅对应文档

Mysql Catalog详解

核心特点

Mysql Catalog是Dinky提供的特色功能，具有以下特点：

• 元数据持久化到MySQL数据库
• 支持完整的CRUD操作
• 提供统一的元数据管理界面

初始化准备

在使用Mysql Catalog前，需要在Dinky元数据库中创建以下表结构：

1. metadata_database：存储schema信息
2. metadata_table：存储表定义
3. metadata_database_property：存储schema属性
4. metadata_table_property：存储表属性
5. metadata_column：存储列定义
6. metadata_function：存储UDF信息

依赖配置

将dlink-catalog-mysql-1.1x-0.6.x.jar放入Flink的lib目录下。

创建语法示例

CREATE CATALOG my_catalog WITH(
   'type' = 'dlink_mysql', 
   'username' = 'dlink', 
   'password' = 'dlink', 
   'url' = 'jdbc:mysql://127.0.0.1:3306/dlink?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true' 
);
USE CATALOG my_catalog;

使用注意事项

1. 当前版本Mysql Catalog名称固定为my_catalog，不可自定义
2. 创建新表前需要先停止Flink任务
3. 修改表结构后需要重新初始化建表脚本

最佳实践建议

1. 开发环境：可以使用Session Catalog或GenericInMemoryCatalog，便于快速测试

2. 生产环境：

   • 如果已有Hive环境，推荐使用HiveCatalog
   • 如果没有Hive环境，Mysql Catalog是理想选择

3. 元数据管理：

   • 定期备份元数据
   • 建立规范的命名空间管理策略

4. 性能优化：

   • 对于频繁访问的元数据，考虑增加缓存层
   • 合理设计数据库连接池参数

通过合理选择和配置Catalog，可以显著提升Dinky平台的元数据管理能力和开发效率。

dinky Dinky is an out-of-the-box, one-stop, real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. 项目地址: https://gitcode.com/gh_mirrors/di/dinky