[iceberg]3-spark调用iceberg入口分析

最新推荐文章于 2025-09-02 18:50:02 发布

原创

最新推荐文章于 2025-09-02 18:50:02 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #iceberg

本文详细介绍了如何使用Spark SQL通过Iceberg库进行数据分析，涉及CatalogManager和SparkSessionCatalog的关键类及其交互过程，特别关注了如何配置和连接非Iceberg表。

以sql调用来分析：

[hadoop@10 ~]$ spark-sql --master local \

--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \

--conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog \

--conf spark.sql.catalog.spark_catalog.type=hadoop \

--conf spark.sql.catalog.spark_catalog.warehouse=hdfs://ns1/user/wanghongbing/db

流程如下：