数据湖（九）：Iceberg 特点详述和数据类型

Iceberg 特点详述和数据类型

一、Iceberg 特点详述

1、Iceberg 分区与隐藏分区（Hidden Partition）

Iceberg 支持分区来加快数据查询。在 Iceberg 中设置分区后，可以在写入数据时将相似的行分组，在查询时加快查询速度。Iceberg 中可以按照年、月、日和小时粒度划分时间戳组织分区。

在 Hive 中也支持分区，但是要想使分区能加快查询速度，需要在写 SQL 时指定对应的分区条件过滤数据，在 Iceberg 中写 SQL 查询时不需要再 SQL 中特别指定分区过滤条件，Iceberg 会自动分区，过滤掉不需要的数据。

在 Iceberg 中分区信息可以被隐藏起来，Iceberg 的分区字段可以通过一个字段计算出来，在建表或者修改分区策略之后，新的数据会自动计算所属于的分区，在查询的时候同样不用关心表的分区是什么字段，只需要关注业务逻辑，Iceberg 会自动过滤不需要的分区数据。

正是由于 Iceberg 的分区信息和表数据存储目录是独立的，使得 Iceberg 的表分区可以被修改，而且不会涉及到数据迁移。

2、Iceberg 表演化（Table Evolution）

在 Hive 分区表中，如果把一个按照天分区的表改成按小时分区，那么没有办法在原有表上进行修改，需要创建一个按照小时分区的表，然后把数据加载到此表中。

Iceberg 支持就地表演化，可以通过 SQL 的方式进行表级别模式演进，例如：更改表分区布局。Iceberg 进行以上操作时，代价极低，不存在读出数据重新写入或者迁移数据这种费时费力的操作。

3、模式演化（Schema Evolution）

Iceberg 支持以下几种 Schema 的演化：

• ADD:向表或者嵌套结构增加新列。

• Drop:从表或嵌套结构中移除列。

• Rename:重命名表中或者嵌套结构中的列。

• Update:将复杂结构（Struct、Map<Key,Value>,list）中的基本类型扩展类型长度，比如：tinyint 修改成 int。

• Reorder:改变列的顺序，也可以改变嵌套结构中字段的排序顺序。

注意：

Iceberg Schema 的改变只是元数据的操作改变，不会涉及到重写数据文件。Map 结构类型不支持 Add 和 Drop 字段。

Iceberg 保证 Schema 演化是没有副作用的独立操作，不会涉及到重写数据文件，具体如下：

• 增加列时不会从另一个列中读取已存在的数据

• 删除列或者嵌套结构中的字段时，不会改变任何其他列的值。

• 更新列或者嵌套结构中字段时，不会改变任何其他列的值。

• 改变列或者嵌套结构中字段顺序的时候，不会改变相关联的值。

Iceberg 实现以上的原因使用唯一的 id 来追踪表中的每一列，当添加一个列时，会分配新的 ID，因此列对应的数据不会被错误使用。

4、分区演化（partition Evolution）

Iceberg 分区可以在现有表中更新，因为 Iceberg 查询流程并不和分区信息直接关联。

当我们改变一个表的分区策略时, 对应修改分区之前的数据不会改变, 依然会采用老的分区策略, 新的数据会采用新的分区策略, 也就是说同一个表会有两种分区策略, 旧数据采用旧分区策略, 新数据采用新新分区策略, 在元数据里两个分区策略相互独立,不重合.

因此，在我们写 SQL 进行数据查询时, 如果存在跨分区策略的情况, 则会解析成两个不同执行计划, 如 Iceberg 官网提供图所示:

图中 booking_table 表 2008 年按月分区, 进入 2009 年后改为按天分区, 这两中分区策略共存于该表中。得益于 Iceberg 的隐藏分区(Hidden Partition), 针对上图中的 SQL 查询, 不需要在 SQL 中特别指定分区过滤条件（是按照月还是按照天）, Iceberg 会自动分区, 过滤掉不需要的数据。

5、列顺序演化（Sort Order Evolution）

Iceberg 可以在一个已经存在的表上修改排序策略。修改了排序策略之后, 旧数据依旧采用老排序策略不变。往 Iceberg 里写数据的计算引擎总是会选择最新的排序策略， 但是当排序的代价极其高昂的时候, 就不进行排序了。

二、Iceberg 数据类型

Iceberg 表支持以下数据类型：