doris：Iceberg

自 2.1.6 版本开始，Apache Doris 支持对 Iceberg 的 DDL 和 DML 操作。用户可以直接通过 Apache Doris 在 Iceberg 中创建库表，并将数据写入到 Iceberg 表中。通过该功能，用户可以通过 Apache Doris 对 Iceberg 进行完整的数据查询和写入操作，进一步帮助用户简化湖仓一体架构。

本文介绍在 Apache Doris 中支持的 Iceberg 操作，语法和使用须知。

提示

这是一个实验功能。

提示

使用前，请先设置：
set global enable_nereids_planner = true;
set global enable_fallback_to_original_planner = false;

元数据创建与删除​

Catalog​

• 创建

  CREATE CATALOG [IF NOT EXISTS] iceberg PROPERTIES (
      "type" = "iceberg",
      "iceberg.catalog.type" = "hms",
      "hive.metastore.uris" = "thrift://172.21.16.47:7004",
      "warehouse" = "hdfs://172.21.16.47:4007/user/hive/warehouse/",
      "hadoop.username" = "hadoop",
      "fs.defaultFS" = "hdfs://172.21.16.47:4007"
  );
  

  上面主要演示了如何在 Apache Doris 中创建 HMS Iceberg Catalog。Apache Doris 目前支持多种类型的 Iceberg Catalog。更多配置，请参阅 Iceberg Catalog

  注意：

  • 如果需要通过 Apache Doris 的 Hive Catalog 创建 Iceberg 表或写入数据，需要在 Catalog 属性中显式增加 fs.defaultFS 属性以及 warehouse 属性。如果创建 Catalog 仅用于查询，则这两个参数可以省略。
  • Hive Catalog 可以查询 Iceberg 表，但是不能在 Hive Catalog 中创建 Iceberg 表。

• 删除

  DROP CATALOG [IF EXISTS] iceberg;
  

  删除 Catalog 并不会删除 Iceberg 中的任何库表信息。仅仅是在 Apache Doris 中移除了对这个 Iceberg Catalog 的映射。

Database​

• 创建

  可以通过 SWITCH 语句切换到对应的 Catalog 下，执行 CREATE DATABASE 语句：

  SWITCH iceberg;
  CREATE DATABASE [IF NOT EXISTS] iceberg_db;
  

  也可以使用全限定名创建，或指定 location，如：

  CREATE DATABASE [IF NOT EXISTS] iceberg.iceberg_db;