实践数据湖iceberg 第十二课 catalog是什么

理解Hive Catalog在Iceberg数据湖中的应用
最新推荐文章于 2025-11-13 05:35:57 发布
原创 最新推荐文章于 2025-11-13 05:35:57 发布 · 3.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据湖 #iceberg #flink

本文深入探讨了Hive Catalog在Iceberg数据湖中的使用，包括创建和使用catalog的步骤，与Hadoop Catalog的区别，以及通过Hive客户端访问Iceberg的实践。重点介绍了catalog的角色，它是如何定义文件存储格式和路径的，并强调了不同database与catalog的关系。此外，还讨论了遇到的问题，如写入失败和小文件合并等操作。

系列文章目录

实践数据湖iceberg 第一课 入门
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
实践数据湖iceberg 第五课 hive catalog特点
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决
实践数据湖iceberg 第七课 实时写入到iceberg
实践数据湖iceberg 第八课 hive与iceberg集成
实践数据湖iceberg 第九课 合并小文件
实践数据湖iceberg 第十课 快照删除
实践数据湖iceberg 第十一课 测试分区表完整流程(造数、建表、合并、删快照)
实

最低0.47元/天 解锁文章
Iceberg Catalog 的实现和迁移
houzhizhen的专栏
10-09 1669
因为在任意时刻，所有的读和写操作看到表的表的状态是相同的。两个并发的写入操作，第 2 个写入操作提交的时候不能覆写第 1 个写入操作对数据的修改，导致数据丢失。Iceberg Catalog 的接口定义了各种 Catalog 需要实现的方法，主要包括列出存在的表，创建表，删除表，检查表是否存在，给表改名。并且都支持迁移表的整个历史。register 迁移后，不删除旧的 catalog 中表定义，可以用来预迁移的验证。使用 register，不能使用不同的 catalog 写入数据，这样会导致数据丢失。
Apache Doris 入门教程35：多源数据目录
sunjian286的专栏
08-22 3017
本文简要介绍Apache Doris中的多源数据目录概念
第五章：Iceberg Catalogs
孤独的流星，生活的弃子
09-15 1729
在本章中，我们将深入了解 Iceberg Catalog。您已经知道catalog 是 Iceberg 的关键组件，它能够确保在多个读取和写入之间保持一致性，并帮助发现环境中可用的表。
Flink集成Iceberg简介
Swordfall的博客
03-17 5786
1. 概述 Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high-performance format that works just like a SQL table. 官方的定义，iceberg是一种表...
走进 Iceberg Java API 系列 1- Catalog
杂记
06-30 2695
随着Iceberg集成到越来越多的计算引擎中，有各种提供了强大功能的接口可以供你使用。本系列将介绍在没有引擎的情况下使用冰山表的底层Java API，而本文是本系列的第一篇。
Iceberg从入门到精通系列之七：Flink SQL创建Catalog
zhengzaifeidelushang的博客
06-30 2512
Iceberg还支持HDFS中基于目录的catalog，可以使用‘catalog-type’='hadoop’配置。重启flink 集群，重新进入sql-client。
实践数据湖iceberg 第十课 快照删除
spark_dev的博客
01-28 3096
系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceber
实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题，测试失败)
spark_dev的博客
02-18 3621
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
实践数据湖iceberg 第十九课 flink count iceberg，无结果问题
spark_dev的博客
02-15 1325
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
spark_dev的博客
01-17 3737
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式前言1、hadoop catalog创建1.1 执行建立 catalog脚本1.2 查看hdfs 目录2.建表2.1 建表2.2 查看建表后的目录结构1.写入数据1.1 写入1条数据1.2 写入数据本质上触发一个flink jiob1.3 查看hdfs目录1.4 再写一
Iceberg Catalog 安装与配置指南
最新发布
gitblog_00103的博客
11-13 889
Iceberg Catalog 是一个基于 Rust 语言的开源项目，它实现了 Apache Iceberg REST Catalog 规范的一个安全、快速且易于使用的版本。Iceberg Catalog REST 接口已成为开放 Lakehouses 中目录的标准，它原生支持多表提交、服务器端冲突解决等功能。Iceberg Catalog 的特点包括但不限于： - 单一代码的二进制文件，无需
Iceberg数据湖的Table、Catalog、Hadoop配置Configuration
Bulut0907
04-12 2667
目录1. Configuration1.1 table properties1.1.1 Read properties1.1.2 Write properties1.1.3 Table behavior properties1.1.4 Reserved table properties1.1.4 Compatibility flags1.2 Catalog properties1.2.1 Lock catalog properties1.3 Hadoop configuration 1. Configura
iceberg - checklist 清单
celltobig的专栏
05-09 1037
iceberg 调研
Apache Iceberg Architecture—Iceberg 架构详解
喻师傅的学习笔记
09-24 4362
Apache Iceberg 的架构可以分为三个主要层次：Iceberg Catalog、元数据层和数据层。
数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)
迷雾总会解
07-01 8548
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。大数据领域发展至今已经经历了相当长时间的发展和探索，虽然大数据技术的出现和迭代降低了用户处理海量数据的
Apache Iceberg 数据湖从入门到放弃(2) —— 初步入门
qq_31866793的博客
04-08 5195
在介绍如何使用Iceberg之前，先简单地介绍一下Iceberg catalog的概念。catalog是Iceberg对表进行管理（create、drop、rename等）的一个组件。目前Iceberg主要支持HiveCatalog和HadoopCatalog两种Catalog。其中HiveCatalog将当前表metadata文件路径存储在Metastore，这个表metadata文件是所有读写Iceberg表的入口，所以每次读写Iceberg表都需要先从Metastore中取出对应的表meta...
Iceberg从入门到精通系列之一：Iceberg核心概念理解
zhengzaifeidelushang的博客
06-22 7960
Manifest(清单)：描述Table状态的元数据，包括Table的Schema（模式）、Partition Spec（分区规范）和Current Snapshot ID（当前快照ID）等信息。Partition(分区)：将数据按照指定规则分隔成的逻辑单元，Partition由一个或多个数据块(Block)组成。Block(块)：其中存储的是Partition的数据，每个块都有一个唯一的ID，块的大小可以在表级别进行配置。创建了一个包含id和name字段的表，并且定义了以id字段为分区键的分区规则。
第一章 Iceberg入门介绍
qq_27924553的博客
01-30 2246
Iceberg基础简介，包括数据层、元数据层、状态后端存储
Flink SQL使用Catalog消费Kafka时，多个Source读取同一主题解决方案
司马班如
10-14 2194
当我们在Flink使用Catalog的时候，如何启用不同groupId的消费着消费Kafka数据呢，本文带你详细了解，Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值