自 2.1.6 版本开始,Apache Doris 支持对 Iceberg 的 DDL 和 DML 操作。用户可以直接通过 Apache Doris 在 Iceberg 中创建库表,并将数据写入到 Iceberg 表中。通过该功能,用户可以通过 Apache Doris 对 Iceberg 进行完整的数据查询和写入操作,进一步帮助用户简化湖仓一体架构。
本文介绍在 Apache Doris 中支持的 Iceberg 操作,语法和使用须知。
提示
这是一个实验功能。
提示
使用前,请先设置:
set global enable_nereids_planner = true;
set global enable_fallback_to_original_planner = false;
元数据创建与删除
Catalog
-
创建
CREATE CATALOG [IF NOT EXISTS] iceberg PROPERTIES ( "type" = "iceberg", "iceberg.catalog.type" = "hms", "hive.metastore.uris" = "thrift://172.21.16.47:7004", "warehouse" = "hdfs://172.21.16.47:4007/user/hive/warehouse/", "hadoop.username" = "hadoop", "fs.defaultFS" = "hdfs://172.21.16.47:4007" );上面主要演示了如何在 Apache Doris 中创建 HMS Iceberg Catalog。Apache Doris 目前支持多种类型的 Iceberg Catalog。更多配置,请参阅 Iceberg Catalog
注意:
- 如果需要通过 Apache Doris 的 Hive Catalog 创建 Iceberg 表或写入数据,需要在 Catalog 属性中显式增加
fs.defaultFS属性以及warehouse属性。如果创建 Catalog 仅用于查询,则这两个参数可以省略。 - Hive Catalog 可以查询 Iceberg 表,但是不能在 Hive Catalog 中创建 Iceberg 表。
- 如果需要通过 Apache Doris 的 Hive Catalog 创建 Iceberg 表或写入数据,需要在 Catalog 属性中显式增加
-
删除
DROP CATALOG [IF EXISTS] iceberg;删除 Catalog 并不会删除 Iceberg 中的任何库表信息。仅仅是在 Apache Doris 中移除了对这个 Iceberg Catalog 的映射。
Database
-
创建
可以通过
SWITCH语句切换到对应的 Catalog 下,执行CREATE DATABASE语句:SWITCH iceberg; CREATE DATABASE [IF NOT EXISTS] iceberg_db;也可以使用全限定名创建,或指定 location,如:
CREATE DATABASE [IF NOT EXISTS] iceberg.iceberg_db;

最低0.47元/天 解锁文章
768

被折叠的 条评论
为什么被折叠?



