Direction_Wind的博客

本文档介绍 Iceberg 和 Hive 在使用上的区别和注意事项，便于对 Hive 用户熟悉的用户快速上手 iceberg。以下主要介绍 spark 使用 iceberg v1 表和 hive 表的区别。

数据拼接成一个长串按照排序保存，常见于聊天会话的合并。

这里主要是做一个记录毕竟工作了这么多年，想要总结一下，所以就慢慢写，慢慢更新了，想到哪里写哪里吧。

Iceberg 采用 MVCC 的设计模式，存在多个快照，允许使用使用 Spark 语法查询 iceberg 的历史快照及相关变更信息。同时Iceberg实现了文件级别的追踪，所有data files的字段max、min等数据也可以直接通过sql查询。summary 信息很有用，该字段记录了本次 snapshot 新增的文件数、记录数及变更的分区。注意：查询表的元数据时一定要以三级结构名称对表进行引用，比如：catalog_name.db_name.table_name.history。

【代码】iceberg建表与参数。

为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。