doris：Paimon Catalog

最新推荐文章于 2025-11-03 10:53:45 发布

原创

最新推荐文章于 2025-11-03 10:53:45 发布 · 777 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#doris

使用须知

数据放在 hdfs 时，需要将 core-site.xml，hdfs-site.xml 和 hive-site.xml 放到 FE 和 BE 的 conf 目录下。优先读取 conf 目录下的 hadoop 配置文件，再读取环境变量 HADOOP_CONF_DIR 的相关配置文件。
当前适配的 Paimon 版本为 0.8。

创建 Catalog

Paimon Catalog 当前支持两种类型的 Metastore 创建 Catalog:

filesystem（默认），同时存储元数据和数据在 filesystem。
hive metastore，它还将元数据存储在 Hive metastore 中。用户可以直接从 Hive 访问这些表。

基于 FileSystem 创建 Catalog

HDFS

CREATE CATALOG `paimon_hdfs` PROPERTIES (
    "type" = "paimon",
    "warehouse" = "hdfs://HDFS8000871/user/paimon",
    "dfs.nameservices" = "HDFS8000871",
    "dfs.ha.namenodes.HDFS8000871" = "nn1,nn2",
    "dfs.namenode.rpc-address.HDFS8000871.nn1" = "172.21.0.1:4007",
    "dfs.namenode.rpc-address.HDFS8000871.nn2" = "172.21.0.2:4007",
    "dfs.client.failover.proxy.provider.HDFS8000871" = "org.apache.hadoop.hdfs.server.namenode.ha.Con