Flink Catalog介绍

最新推荐文章于 2024-05-28 11:19:15 发布

fragrans

最新推荐文章于 2024-05-28 11:19:15 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Flink 文章标签： Flink Catalog Flink 元数据管理中心

本文链接：https://blog.youkuaiyun.com/litlit023/article/details/114891949

Flink 专栏收录该内容

56 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink Catalog作为元数据管理中心的角色，详细阐述了Catalog管理的元数据内容，如数据库、表及表结构，并提及Flink的相关代码定义。同时，提供了多个参考资料链接以供深入学习。

1. Flink Catalog资料总结

2. 参考资料

1. Flink Catalog资料总结

Catalog 就是元数据管理中心，其中元数据包括数据库、表、表结构等信息。

Flink 的 Catalog 相关代码定义在 catalog.java 文件中，是一个 interface，如下。

/**
 * This interface is responsible for reading and writing metadata such as database/table/views/UDFs
 * from a registered catalog. It connects a registered catalog and Flink's Table API.
 */
@PublicEvolving
public interface Catalog {
  ...
}

2. 参考资料

http://legendtkl.com/2020/07/26/flink-catalog/

https://www.codercto.c

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fragrans

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Flink Catalog

不甚了然的博客

02-27

1827

按照SQL的解析处理流程在Parse解析SQL以后，进入执行流程——executeInternal。其中有个分支专门处理创建Catalog的SQL命令创建Catalog会去全包查找对应的CatalogFactory的子类，然后使用配置的子类构建这里注意，上面的步骤只查询classpath下的类，像HiveCatalog这种外置增加的，在这个步骤里找不到，会抛出NoMatchingTableFactoryException异常之后继续其他步骤处理来获取。

flink所有支持的catalog详解

第一片心意的博客

08-26

5483

flink所有支持的catalog详解

参与评论您还未登录，请先登录后发表或查看评论

Flink Catalog解读

阿甘兄

07-22

3105

Catalog在Flink中提供了一个统一的API，用于管理元数据，并使其可以从 Table API 和 SQL 查询语句中来访问。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。......

整库同步 Catalog 和 Flink CDC

SunTecTec

05-28

514

Flink CDC连接器的主要目的是从关系型数据库中的binlog（二进制日志）中捕获变更事件，并将这些事件作为数据流传递给Flink应用程序进行处理。Catalog是数据库管理系统（DBMS）中用于存储元数据信息的组件，它包含了数据库对象（如表、视图、函数等）的定义和描述。通常情况下，Flink CDC连接器并不直接操作Catalog数据，而是通过解析binlog来捕获对数据库对象的变更。然而，一些特定的CDC实现或特殊的配置可能会考虑到对Catalog数据的变更进行捕获和处理。

Flink之Catalog

积跬步，至千里。

11-11

2565

Catalog是一种用于管理和组织元数据的抽象。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

flink catalog

少年阿宏

04-03

375

Catalog 使用户能够引用他们数据系统中的现有元数据，并自动将它们映射到Flink的相应元数据。例如，Flink可以将JDBC表自动映射到Flink表，用户不必在Flink中手动重写DDL。或者是永久性的元数据，比如Hive元存储中的元数据。Catalog 提供了一个统一的API来管理元数据，并使其可以从表API和SQL查询中访问。Catalog提供元数据，如数据库、表、分区、视图，以及访问存储在数据库或其他外部系统中的数据所需的函数和信息。它可能是暂时性的元数据，如临时表，或针对表环境注册的。

RocketMQ Flink Catalog 设计与实践

Huangjiazhen711的博客

10-26

530

RocketMQ Flink Catalog 的底层存储使用的是 RocketMQ Schema Registry。Flink 调用 Catalog 的时候，在 AbstractCatalog 的实现类中通过 RocketMQ Schema Registry 的客户端和 RocketMQ Schema Registry 服务端进行交互。Database、Table、Partition 的查询和判断是否存在的操作，不支持创建、修改、删除。Flink 对于元数据的管理分为临时的、持久化的两种。

Flink Catalog(Memory、Jdbc、Hive Catalog)的使用及Catalog SQL应用

Bulut0907

02-26

4655

目录1. calalog类型1.1 GenericInMemoryCatalog1.2 JdbcCatalog1.3 HiveCatalog2. catalog SQL语句使用2.1 数据库2.2 表 1. calalog类型 1.1 GenericInMemoryCatalog 默认的类型。对meta-object名称是大小写敏感的 1.2 JdbcCatalog 目前只支持Postgres数据库 1.3 HiveCatalog 将所有的meta-object名称保存为小写有两个作用：保存Flink

Flink SQL之Catalogs

蔡政洁的博客

04-09

2969

目录（1）Catalogs主要定义（2）Catalogs类型（3）Catalogs在Flink SQL架构中的位置（4）Catalogs 操作（1）Catalogs主要定义 Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF，也可以是持久化的，例如Hive Metastore中的元数据。 Catalog提供了一个统一的API，用于管理元数据，并使其可以从Table A

Flink SQl 客户端-Catalog(hive的catalog是重点)

weixin_48370579的博客

07-31

6704

4、Flink SQl 客户端 1、启动一个flink的集群可以使用flink独立集群也可以使用yarn-session.sh # 启动一个flinkyarn-sesion集群 yarn-sesion.sh -d 2、启动sql-client sql-client.sh 3、测试命令行 -- 创建source表 CREATE TABLE datagen ( id STRING, ...

Flink catalog简单使用

3.4的博客

08-31

1435

FlinkCatalog使用demo

1.18.3.Flink Catalog介绍、Catalog 定义、Catalog 的实现、Catalog 使用举例

涂作权的博客

07-26

8035

1.18.3.Flink Catalog介绍 1.18.3.1.引言 1.18.3.2.Catalog 定义 1.18.3.3.Catalog 的实现 1.18.3.4.Catalog 使用举例 1.18.3.Flink Catalog介绍 1.18.3.1.引言以下转自：http://legendtkl.com/2020/07/26/flink-catalog/ 这篇文章我们介绍了一下 Flink 的 Catalog，基于 Flink 1.11，熟悉 Flink 或者 Spark 等大数据引擎的同学应该

Flink HiveCatalog

sunrising_hill的专栏

03-20

3325

Hive Metastore作为一个元数据管理的标准在Hadoop生态系统中已经成为公认的事实，因此Flink也采用HiveCatalog作为表元数据持久化的介质。对于同时部署了Hive和Flink的公司来说，可以方便管理元数据，而对于只部署了Flink的公司来说，HiveCatalog也是Flink唯一支持的元数据持久化的介质。不将元数据持久化的时候，开发过程中的每个地方都需要使用DDL重新将K...

Flink自定义catalog管理元数据信息

qq_41463207的博客

04-14

5502

test

Flink 数据目录体系：深入理解 Catalog、Database 及 Table 概念

木南曌的博客

03-15

1813

综上所述，Catalog、Database 和 Table 构成了 Flink 数据管理的基础架构，它们共同提供了对分布式数据源的抽象和统一访问接口，使得用户能够在一个统一的视角下对各类数据源进行透明化管理和高效处理。Apache Flink 在其数据处理框架中引入了 Catalog、Database、Table 等一系列概念，旨在为用户提供一种结构化的元数据管理和访问机制，从而简化大数据环境下的数据源整合和处理流程。

使用FlinkCatalog将kafka的数据写入hive

qq_40382400的博客

10-16

1102

【代码】使用FlinkCatalog将kafka的数据写入hive。

Flink集成Hive之Hive Catalog

m0_57320261的博客

01-12

2124

流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流表insert进Hive,注意分区时间字段需要为 yyyy-MM-dd形式,否则抛出异常:java.time.format.DateTimeParseException: Text '20240111' could not be parsed。

Flink HiveCatalog使用

weibokong789的博客

05-29

7918

Flink采用HiveCatalog作为表元数据持久化的介质。对于同时部署了Hive和Flink的公司来说，可以方便管理元数据，而对于只部署了Flink的公司来说，HiveCatalog也是Flink唯一支持的元数据持久化的介质。不将元数据持久化的时候，开发过程中的每个地方都需要使用DDL重新将Kafka等数据源的数据注册到临时的Catalog中，浪费了很多精力和时间。 HiveCatalog可用于处理两种类型的表：Hive兼容表和通用表。就存储层中的元数据和数据而言，兼容Hive的表是以兼容Hive的

flink sql catalog