[iceberg]2-hivecatalog

最新推荐文章于 2025-04-05 09:51:20 发布
最新推荐文章于 2025-04-05 09:51:20 发布
阅读量775 收藏
点赞数
分类专栏： hadoop 文章标签： sql iceberg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/answer100answer/article/details/120524906
版权

test1

当key不是spark_catalog

spark-sql --master local \
--driver-java-options "-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5060" \
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.catalog.my_catalog=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.my_catalog.type=hive

create table IF NOT EXISTS employee_partition(
  id string,
  name string,
  age int,
  tel string
)
using iceberg
PARTITIONED BY (
  city_id string
);

在这里插入图片描述在这里插入图片描述
key不是spark_catalog时，insert数据会有些问题。

test2

当key是spark_catalog，这种是标准的

spark-sql --master local \
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog \
--conf spark.sql.catalog.spark_catalog.type=hive

在这里插入图片描述
在这里插入图片描述
这种为正确情况，新建的空表时，TABLE_PARAMS 表中要有7个字段：

mysql> select * from TABLE_PARAMS;
|     15 | EXTERNAL                             | TRUE                                                                                                                                                                                                                                                                                                                                               |
|     15 | metadata_location                    | hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/00000-5525ef8b-bc94-48f0-8dd3-5aeccb80ea0d.metadata.json                                                                                                                                                                                                                 |
|     15 | numFiles                             | 1                                                                                                                                                                                                                                                                                                                                                  |
|     15 | owner                                | hadoop                                                                                                                                                                                                                                                                                                                                             |
|     15 | table_type                           | ICEBERG                                                                                                                                                                                                                                                                                                                                            |
|     15 | totalSize                            | 2008                                                                                                                                                                                                                                                                                                                                               |
|     15 | transient_lastDdlTime                | 1632798925

（1）第1次写入数据

spark-sql> INSERT OVERWRITE TABLE iceberg_hive.employee_partition1 PARTITION (city_id="beijing")
         > VALUES
         > ("1","wang",17,"130"),
         > ("2","hong",18,"150"),
         > ("3","bing",19,"170");
Time taken: 8.769 seconds

插入分区数据后，分区表PARTITIONS仍然为空。 但是，TABLE_PARAMS 表中字段有所变化（7行-> 9行）。

mysql> select * from PARTITIONS;
Empty set (0.00 sec)

mysql> select * from TABLE_PARAMS;
|     15 | EXTERNAL                             | TRUE                                                                                                                                                                                                                                                                                                                                               |
|     15 | metadata_location                    | hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/00001-c02eda34-acc3-48ff-aa9d-d435734dbf6d.metadata.json                                                                                                                                                                                                                 |
|     15 | numFiles                             | 1                                                                                                                                                                                                                                                                                                                                                  |
|     15 | numRows                              | 3                                                                                                                                                                                                                                                                                                                                                  |
|     15 | owner                                | hadoop                                                                                                                                                                                                                                                                                                                                             |
|     15 | previous_metadata_location           | hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/00000-5525ef8b-bc94-48f0-8dd3-5aeccb80ea0d.metadata.json                                                                                                                                                                                                                 |
|     15 | table_type                           | ICEBERG                                                                                                                                                                                                                                                                                                                                            |
|     15 | totalSize                            | 1406                                                                                                                                                                                                                                                                                                                                               
|     15 | transient_lastDdlTime                | 1632798925

hadoop存储变化

employee_partition1/
|-- data
|   `-- city_id=beijing
|       `-- 00000-0-c38fea92-1cdc-492b-9f09-a713d8e97d7f-00001.parquet
`-- metadata
    |-- 00000-5525ef8b-bc94-48f0-8dd3-5aeccb80ea0d.metadata.json
    |-- 00001-c02eda34-acc3-48ff-aa9d-d435734dbf6d.metadata.json
    |-- e656716d-5e76-425a-abc9-d7b5a1e855b4-m0.avro
    `-- snap-8454781130181280343-1-e656716d-5e76-425a-abc9-d7b5a1e855b4.avro

3 directories, 5 files

在这里插入图片描述
两json文件的diff，可以看到空表时快照id为-1. 快照为空。
在这里插入图片描述
查看json文件

{
  "format-version" : 1,
  "table-uuid" : "22560303-6d75-42b3-b6ae-c71a38147a1e",
  "location" : "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1",
  "last-updated-ms" : 1632802184610,
  "last-column-id" : 5,
  "schema" : {
    "type" : "struct",
    "schema-id" : 0,
    "fields" : [ {
      "id" : 1,
      "name" : "id",
      "required" : false,
      "type" : "string"
    }, {
      "id" : 2,
      "name" : "name",
      "required" : false,
      "type" : "string"
    }, {
      "id" : 3,
      "name" : "age",
      "required" : false,
      "type" : "int"
    }, {
      "id" : 4,
      "name" : "tel",
      "required" : false,
      "type" : "string"
    }, {
      "id" : 5,
      "name" : "city_id",
      "required" : false,
      "type" : "string"
    } ]
  },
    "current-schema-id" : 0,
  "schemas" : [ {
    "type" : "struct",
    "schema-id" : 0,
    "fields" : [ {
      "id" : 1,
      "name" : "id",
      "required" : false,
      "type" : "string"
    }, {
      "id" : 2,
      "name" : "name",
      "required" : false,
      "type" : "string"
    }, {
      "id" : 3,
      "name" : "age",
      "required" : false,
      "type" : "int"
    }, {
      "id" : 4,
      "name" : "tel",
      "required" : false,
      "type" : "string"
    }, {
      "id" : 5,
      "name" : "city_id",
      "required" : false,
      "type" : "string"
    } ]
  } ],
  "partition-spec" : [ {
    "name" : "city_id",
    "transform" : "identity",
    "source-id" : 5,
    "field-id" : 1000
  } ],
  "default-spec-id" : 0,
    "partition-specs" : [ {
    "spec-id" : 0,
    "fields" : [ {
      "name" : "city_id",
      "transform" : "identity",
      "source-id" : 5,
      "field-id" : 1000
    } ]
  } ],
  "last-partition-id" : 1000,
  "default-sort-order-id" : 0,
  "sort-orders" : [ {
    "order-id" : 0,
    "fields" : [ ]
  } ],
  "properties" : {
    "owner" : "hadoop"
  },
  "current-snapshot-id" : 8454781130181280343,
  "snapshots" : [ {
    "snapshot-id" : 8454781130181280343,
    "timestamp-ms" : 1632802184610,
    "summary" : {
      "operation" : "overwrite",
      "spark.app.id" : "local-1632800483195",
      "added-data-files" : "1",
      "added-records" : "3",
      "added-files-size" : "1406",
      "changed-partition-count" : "1",
      "total-records" : "3",
      "total-files-size" : "1406",
      "total-data-files" : "1",
      "total-delete-files" : "0",
      "total-position-deletes" : "0",
      "total-equality-deletes" : "0"
    },
    "manifest-list" : "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/snap-8454781130181280343-1-e656716d-5e76-425a-abc9-d7b5a1e855b4.avro",
    "schema-id" : 0
  } ],
    "snapshot-log" : [ {
    "timestamp-ms" : 1632802184610,
    "snapshot-id" : 8454781130181280343
  } ],
  "metadata-log" : [ {
    "timestamp-ms" : 1632798924774,
    "metadata-file" : "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/00000-5525ef8b-bc94-48f0-8dd3-5aeccb80ea0d.metadata.json"
  } ]
}

json文件中存储了

  • manifest-list（avro文件）
  • metadata-file（就是上一次的json文件）

（2）第2次写入数据

spark-sql> 
INSERT OVERWRITE TABLE iceberg_hive.employee_partition1 PARTITION (city_id="wuhan")
   VALUES
   ("4","w",17,"130"),
   ("5","h",18,"150"),
   ("6","b",19,"170");

mysql> select * from TABLE_PARAMS;
|     15 | EXTERNAL                             | TRUE                                                                                                                                                                                                                                                                                                                                               |
|     15 | metadata_location                    | hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/00002-99d06b27-2ff0-4f22-a40f-5ce5cbe6c6ec.metadata.json                                                                                                                                                                                                                 |
|     15 | numFiles                             | 2                                                                                                                                                                                                                                                                                                                                                  |
|     15 | numRows                              | 6                                                                                                                                                                                                                                                                                                                                                  |
|     15 | owner                                | hadoop                                                                                                                                                                                                                                                                                                                                             |
|     15 | previous_metadata_location           | hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/00001-c02eda34-acc3-48ff-aa9d-d435734dbf6d.metadata.json                                                                                                                                                                                                                 |
|     15 | table_type                           | ICEBERG                                                                                                                                                                                                                                                                                                                                            |
|     15 | totalSize                            | 2779                                                                                                                                                                                                                                                                                                                                               |     15 | transient_lastDdlTime                | 1632798925

TABLE_PARAMS 表中字段有所变化

  • numFiles： 数据文件的文件个数，从1变为2
  • numRows：所有分区的总行数，数据变化后这里会更新
  • previous_metadata_location：上一个元数据json文件
  • totalSize：总字节数

那么，hdfs文件系统上会多数据文件、json文件、两个avro文件
在这里插入图片描述
以下分别分析avro文件、json文件
avro：
第2个avro文件 2cfc4831-b799-40eb-913d-548eede5c9ec-m0.avro

{
	"status": 1,
	"snapshot_id": {
		"long": 6656578434519846789
	},
	"data_file": {
		"file_path": "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/data/city_id=wuhan/00000-2-53fed580-6321-4c03-bf95-1609ae4e287d-00001.parquet",
		"file_format": "PARQUET",
		"partition": {
			"city_id": {
				"string": "wuhan"
			}
		},
		"record_count": 3,
		"file_size_in_bytes": 1373,
		"block_size_in_bytes": 67108864,
		"column_sizes": {
			"array": [{
				"key": 1,
				"value": 54
			}, {
				"key": 2,
				"value": 54
			}, {
				"key": 3,
				"value": 52
			}, {
				"key": 4,
				"value": 57
			}, {
				"key": 5,
				"value": 93
			}]
		},
		"value_counts": {
			"array": [{
				"key": 1,
				"value": 3
			}, {
				"key": 2,
				"value": 3
			}, {
				"key": 3,
				"value": 3
			}, {
				"key": 4,
				"value": 3
			}, {
				"key": 5,
				"value": 3
			}]
		},
		"null_value_counts": {
			"array": [{
				"key": 1,
				"value": 0
			}, {
				"key": 2,
				"value": 0
			}, {
				"key": 3,
				"value": 0
			}, {
				"key": 4,
				"value": 0
			}, {
				"key": 5,
				"value": 0
			}]
		},
		"nan_value_counts": {
			"array": []
		},
		"lower_bounds": {
			"array": [{
				"key": 1,
				"value": "4"
			}, {
				"key": 2,
				"value": "b"
			}, {
				"key": 3,
				"value": "\u0011\u0000\u0000\u0000"
			}, {
				"key": 4,
				"value": "130"
			}, {
				"key": 5,
				"value": "wuhan"
			}]
		},
		"upper_bounds": {
			"array": [{
				"key": 1,
				"value": "6"
			}, {
				"key": 2,
				"value": "w"
			}, {
				"key": 3,
				"value": "\u0013\u0000\u0000\u0000"
			}, {
				"key": 4,
				"value": "170"
			}, {
				"key": 5,
				"value": "wuhan"
			}]
		},
		"key_metadata": null,
		"split_offsets": {
			"array": [4]
		},
		"sort_order_id": {
			"int": 0
		}
	}
}

这里，只包含第二次写入时的信息，如wuhan分区，不包含第一次的分区信息。

对应的第2个snap.avro文件 snap-6656578434519846789-1-2cfc4831-b799-40eb-913d-548eede5c9ec.avro

{
	"manifest_path": "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/2cfc4831-b799-40eb-913d-548eede5c9ec-m0.avro",
	"manifest_length": 6233,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 6656578434519846789
	},
	"added_data_files_count": {
		"int": 1
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 0
	},
	"partitions": {
		"array": [{
			"contains_null": false,
			"contains_nan": {
				"boolean": false
			},
			"lower_bound": {
				"bytes": "wuhan"
			},
			"upper_bound": {
				"bytes": "wuhan"
			}
		}]
	},
	"added_rows_count": {
		"long": 3
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 0
	}
} {
	"manifest_path": "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/e656716d-5e76-425a-abc9-d7b5a1e855b4-m0.avro",
	"manifest_length": 6241,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 8454781130181280343
	},
	"added_data_files_count": {
		"int": 1
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 0
	},
	"partitions": {
		"array": [{
			"contains_null": false,
			"contains_nan": {
				"boolean": false
			},
			"lower_bound": {
				"bytes": "beijing"
			},
			"upper_bound": {
				"bytes": "beijing"
			}
		}]
	},
	"added_rows_count": {
		"long": 3
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 0
	}
}

这里其实包含了2个分区的信息，第1次和第2次分区信息都有。

（3）第3次写入数据

update iceberg_hive.employee_partition1 set tel='newNum',age=1 where name='b';

在这里插入图片描述
先看快照文件，snap-2173158888179895109-1-c701372c-0d5f-47ed-aacd-7064c94f61d9.avro
有3个json，记录了每个分区快照和最近的变化。

{
	"manifest_path": "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/c701372c-0d5f-47ed-aacd-7064c94f61d9-m1.avro",
	"manifest_length": 6237,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 2173158888179895109
	},
	"added_data_files_count": {
		"int": 1
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 0
	},
	"partitions": {
		"array": [{
			"contains_null": false,
			"contains_nan": {
				"boolean": false
			},
			"lower_bound": {
				"bytes": "wuhan"
			},
			"upper_bound": {
				"bytes": "wuhan"
			}
		}]
	},
	"added_rows_count": {
		"long": 3
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 0
	}
} {
	"manifest_path": "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/c701372c-0d5f-47ed-aacd-7064c94f61d9-m0.avro",
	"manifest_length": 6232,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 2173158888179895109
	},
	"added_data_files_count": {
		"int": 0
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 1
	},
	"partitions": {
		"array": [{
			"contains_null": false,
			"contains_nan": {
				"boolean": false
			},
			"lower_bound": {
				"bytes": "wuhan"
			},
			"upper_bound": {
				"bytes": "wuhan"
			}
		}]
	},
	"added_rows_count": {
		"long": 0
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 3
	}
} {
	"manifest_path": "hdfs://ns1/user/wanghongbing/db/iceberg_hive/employee_partition1/metadata/e656716d-5e76-425a-abc9-d7b5a1e855b4-m0.avro",
	"manifest_length": 6241,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 8454781130181280343
	},
	"added_data_files_count": {
		"int": 1
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 0
	},
	"partitions": {
		"array": [{
			"contains_null": false,
			"contains_nan": {
				"boolean": false
			},
			"lower_bound": {
				"bytes": "beijing"
			},
			"upper_bound": {
				"bytes": "beijing"
			}
		}]
	},
	"added_rows_count": {
		"long": 3
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 0
	}
}

同下截图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

文件结构

1.snapshot

  • meta文件夹下的json文件，每个meta.json文件相当于一个snapshot，其中包含了当前版本的schema信息、产生此版本的任务信息、以及manifest文件地址信息。

2.manifest-list文件

  • 即 snap-xxx.avro，包含了所有mainfest的文件的元数据信息，包含了manifest地址，分区范围以及一些统计信息

3.manifest文件

  • 即xxx.avro文件。包含了所有的数据地址细化到具体文件，所以读取时不需list所有的文件，包含了分区信息，所有字段的存储大小、每个字段的行数信息、空值统计信息、每个字段的最大值、最小值信息、分区信息等等，上层引擎可以利用这些做JOIN的Cache优化、做文件级别的下推过滤，精准的分区信息，大大提高了上层引擎查询初始化的速度。
【大数据入门核心技术-Iceberg】（二）Iceberg与Hive整合
10-16 423
重启hadoop 、yarn 、hiveserver2。2、修改hive-site.xml。Iceberg提供一个开放通用的表格式（Table Format）实现方案，不和特定的数据存储、计算引擎绑定。目前大数据领域的常见数据存储（HDFS、S3...），计算引擎（Flink、Spark...）都可以接入Iceberg。 在生产环境中，可选择不同的组件搭使用。甚至可以不通过计算引擎，直接读取存在文件系统上的数据.Iceberg提供一个开放通用的表格式（Table Format）实现方案，不和特
数据湖（十）：Hive与Iceberg整合
Lansonli（蓝深李）的博客
06-25 2674
Iceberg就是一种表格式，支持使用Hive对Iceberg进行读写操作，但是对Hive的版本有要求，如下：操作Hive 2.xHive 3.1.2CREATE EXTERNAL TABLE√√CREATE TABLE√√DROP TABLE√√SELECT√√INSERT INTO√√这里基于Hive3.1.2版本进行Hive操作Iceberg表讲解。想要使用Hive支持查询Iceberg表，首先需要下载“iceberg-hive-runtime.jar”，Hive通过该Jar可以加载Hive或者更新I
Iceberg Java API使用之 Hive Catalog方式
qq_55862537的博客
08-21 1004
对于iceberg表，可以分为四部分，表结构定义（schema）、分区定义（partitionSpec）、表的属性（properties），以及表的唯一识别信息（identity）即表所属的数据库与表名。创建表时需要先定义这四部分在对其创建。对于hive类型的catalog，主要指定数据库存储位置，以及hive metastore server的URI。根据实际情况来决定是否需要这一步 直接创建表。2,将记录写入parquet文件。3,将文件写入到table中。
Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12为例
GabrielCP的博客
01-13 784
什么是Hive Catalog 我们知道，Hive使用Hive Metastore(HMS)存储元数据信息，使用关系型数据库来持久化存储这些信息。所以，Flink集成Hive需要打通Hive的metastore，去管理Flink的元数据，这就是Hive Catalog的功能。 Hive Catalog的主要作用是使用Hive MetaStore去管理Flink的元数据。Hive Catalog可以将元数据进行持久化，这样后续的操作就可以反复使用这些表的元数据，而不用每次使用时都要重新注册。如果不去持久化ca
Iceberg Catalog 安装与配置指南
最新发布
gitblog_00103的博客
04-05 601
Iceberg Catalog 安装与配置指南 iceberg-catalog A Rust implementation of the Iceberg REST Catalog specification. 项目地址: http...
实践数据湖iceberg 第三十二课 DDL语句通过hive catalog持久化方法
spark_dev的博客
05-07 1164
问题： flink的sql-client上，创建表，只是当前session有用，退出回话，需要重新创建表。多人共享一个表，很麻烦，有什么办法？ 解决方法：把建表的DDL操作，持久化到HIVE上，由hive来管理。如何实现呢？ 使用hive catalog，在hive catalog下创建表。所有表都是持久化的。
Flink集成Hive之Hive Catalog
m0_57320261的博客
01-12 1956
流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流 表insert进Hive,注意分区时间字段需要为 yyyy-MM-dd形式,否则抛出异常:java.time.format.DateTimeParseException: Text '20240111' could not be parsed。
实践数据湖iceberg 第五课 hive catalog特点
spark_dev的博客
01-18 2437
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
[数据湖iceberg]-hive集成数据湖读取数据的正确姿势
HANG.NIAN
03-13 1243
Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要基于HMS。
Flink、Iceberg和Hive的Catalog比较研究
Deepexi_Date的博客
02-28 2534
所谓Catalog即数据目录，简单讲，Catalog是企业用于管理数据资产的方式，Catalog借助元数据来管理数据，包括数据收集、组织、访问、发现和治理。可见，Catalog在数据资产管理中处于核心位置。元数据本身内容非常丰富，包括技术元数据、业务元数据和操作元数据，本文仅仅研究大数据计算存储框架本身的技术元数据，比如数据库、数据表、分区、视图、函数等。限于篇幅，参与比较的计算存储框架为Flink、Iceberg和Hive，比较维度为Catalog的定义、Catalog的实现和生态拓展几个方面。 Cata
flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 (一）
jiangjiangaa666的博客
07-11 565
Flink1.14.4 + Iceberg0.13.2 + Hive2.1.1 + Presto0.273.3 + yanagishima 18.0 + FineBI5.1.24
iceberg-hive-runtime-0.11.0.jar
03-12
iceberg-hive-runtime-0.11.0.jar
Iceberg Catalog
qq_36070104的博客
03-01 1119
Iceberg Catalog
HiveCatalog 介绍与使用
cloudbigdata的博客
07-20 4556
作者：苏文鹏，腾讯 CSIG 工程师一、背景Apache Hive 已经成为了数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和 ETL 场景的 SQL 引擎，同样它也是一个数据管理平台，可用于发现、定义和演化数据。Flink 与 Hive 的集成包含两个层面：一是利用了 Hive 的 Metastore 作为持久化的 Catalog，用户可通过 HiveCatal...
Flink HiveCatalog使用
weibokong789的博客
05-29 7860
Flink采用HiveCatalog作为表元数据持久化的介质。对于同时部署了Hive和Flink的公司来说，可以方便管理元数据，而对于只部署了Flink的公司来说，HiveCatalog也是Flink唯一支持的元数据持久化的介质。不将元数据持久化的时候，开发过程中的每个地方都需要使用DDL重新将Kafka等数据源的数据注册到临时的Catalog中，浪费了很多精力和时间。 HiveCatalog可用于处理两种类型的表：Hive兼容表和通用表。 就存储层中的元数据和数据而言，兼容Hive的表是以兼容Hive的
使用Scala/Java对Iceberg数据湖的Hive Catalog/Hadoop Catalog/HDFS Path进行表操作
Bulut0907
04-14 3266
目录1. Hive Catalog(创建表、加载表、重命名表、删除表)2. Hadoop Catalog(创建表、加载表、重命名表、删除表)3. 直接通过HDFS Path创建、加载、删除Hadoop Catalog表4. Iceberg Scala/Java API的使用4.1 表metadata API4.2 表Scanning4.2.1 File Level4.2.2 Row level4.3 表update操作4.4 Transactions4.6 Types数据类型4.6.1 基础数据类型4.6.
hive 操作iceberg
zhangzhentiyes的博客
11-24 1489
Hive 操作 iceberg 入门示例
flink使用HiveCatalog配置
u011624157的专栏
01-11 2354
hive catalog在flink中的应用概览怎样使用HiveCatalog二级目录三级目录 概览 多年来，Hive Metastore已发展成为Hadoop生态系统的元数据中心。对于同时部署了Hive和Flink的用户，HiveCatalog使他们能够使用Hive Metastore管理Flink的元数据。 对于仅部署Flink的用户，HiveCatalog是Flink开箱即用的唯一持久目录。 如果没有持久性目录，使用Flink SQL CREATE DDL的用户必须在每个会话中重复创建像Kafka表这
4 Paimon数据湖之Hive Catalog的使用
大数据技术博客
11-10 2542
Paimon提供了两种类型的Catalog：Filesystem Catalog和Hive Catalog。
hivecatalog创建iceberg表怎么设置所有字段默认为空
12-04
在Hive Catalog中创建Iceberg表并设置所有字段默认值为NULL，你可以使用CREATE TABLE语句，并指定`WITH`关键字来配置列级别的属性。例如： ```sql CREATE TABLE my_iceberg_table ( column1 STRING DEFAULT NULL, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值