实践数据湖iceberg 第五课 hive catalog特点

最新推荐文章于 2025-03-01 16:11:41 发布

原创

最新推荐文章于 2025-03-01 16:11:41 发布 · 2.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive #big data #hadoop

本文通过实战演示了如何使用HiveCatalog结合Iceberg表格式进行数据操作，包括创建目录、表结构、写入数据及查看元数据的变化。

系列文章目录

@[TOC](文章目录)

前言

不以完美记录做为目标。以记录自己学习过程为主线，进行记录，记录通过实践，来了解原理，并把这个实践过程分享给后来需要学习的同学。

本节：了解hive catalog与hadoop catalog的区别，进行认识

1. 建立 hive catalog，建表

创建hive_catalog与表

CREATE CATALOG hive_catalog4 WITH (
  'type'='iceberg',
  'catalog-type'='hive',
  'uri'='thrift://hadoop101:9083',
  'clients'='5',
  'property-version'='1',
  'warehouse'='hdfs:////user/hive/warehouse/hive_catalog4'
);

在hive_catalog下创建数据库
use catalog hive_catalog4;
 
 
CREATE TABLE `hive_catalog4`.`default`.`sample` ( id BIGINT COMMENT 'unique id', data STRING );